[논문 리뷰] Second-Order Semantic Dependency Parsing with End-to-End Neural Networks

Xinyu Wang, Jingxian Huang외 1명|arXiv (Cornell University)|2019. 06. 19.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

이 논문은 평균장 변분 추론 또는 루프 없는 신뢰도 전파를 사용하여 의존 간선 간의 상호작용을 모델링하고, 이를 순환층으로 전개한 엔드 투 엔드 신경망 2차 순서 의미적 의존 구문 분석기(semantic dependency parser)를 제안한다. 이는 도메인 내 및 도메인 외 테스트 세트에서 각각 1.3%, 1.4% 향상된 레이블링 F1을 달성하여 최신 기술 수준(SOTA)을 확보하였으며, 특히 긴 문장과 자원이 부족한 환경에서 더 큰 성능 향상을 보였다.

ABSTRACT

Semantic dependency parsing aims to identify semantic relationships between words in a sentence that form a graph. In this paper, we propose a second-order semantic dependency parser, which takes into consideration not only individual dependency edges but also interactions between pairs of edges. We show that second-order parsing can be approximated using mean field (MF) variational inference or loopy belief propagation (LBP). We can unfold both algorithms as recurrent layers of a neural network and therefore can train the parser in an end-to-end manner. Our experiments show that our approach achieves state-of-the-art performance.

연구 동기 및 목표

• 의미적 의존 구문 분석에서 효과적인 2차 순서 모델링의 부족을 해결하기 위해.
• 추론 과정을 통해 역전파(backpropagation)가 가능한 고차수 의미적 의존 구문 분석기의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 특히 긴 문장과 자원이 부족한 환경에서의 구문 분석 정확도 향상을 위해.
• 변분 추론과 신뢰도 전파를 사용하여 신경 기반 그래프 기반 구문 분석을 2차 순서 의존성으로 확장하기 위해.

제안 방법

• 단어와 품사 정보(POS) 임베딩을 맥락적 표현으로 인코딩하기 위해 BiLSTM을 사용한다.
• 일차 간선과 레이블을 별도로 점수화하기 위해 이중선형(biaffine) 및 삼중선형(trilinear) 함수를 적용한다.
• 형제, 공통 부모, 할아버지와 같은 2차 부분을 도입하고, 간선 간 상호작용을 위해 삼중선형 점수 함수를 사용한다.
• 근사 추론을 위해 평균장 변분 추론(Mean Field Variational Inference)과 루프 없는 신뢰도 전파(Loopy Belief Propagation)를 순환층으로 전개한다.
• 골드 파싱 가능성도 최대화하기 위해 그래디언트 기반 최적화를 사용하여 전체 모델을 엔드 투 엔드로 학습시킨다.
• 간선 존재 여부와 간선 레이블링을 위한 두 개의 병렬 헤드를 공유 인코더와 함께 사용한다.

실험 결과

연구 질문

• RQ1 2차 순서 의존 구문 분석이 의미적 의존 구문 분석 정확도를 향상시킬 수 있는가?
• RQ2 MF와 LBP와 같은 근사 추론 알고리즘이 신경망 내에서 미분 가능한 순환층으로 효과적으로 전개될 수 있는가?
• RQ3 2차 순서 의미적 파서의 엔드 투 엔드 학습이 일차 순서 또는 비미분 가능한 접근 방식보다 더 나은 성능을 낼 수 있는가?
• RQ4 기존 기술 대비 자원이 부족하거나 긴 문장 시퀀스 조건에서 모델의 성능은 어떻게 되는가?
• RQ5 2차 부분의 삼중선형 점수 함수가 일차 간선을 초월해 의미론적·구문론적 상호작용을 효과적으로 포착할 수 있는가?

주요 결과

• 제안된 모델은 도메인 내 및 도메인 외 테스트 세트에서 모두 최신 기술 수준 성능을 달성한다.
• 이전 최신 기술 수준 모델 대비 도메인 내 테스트 세트에서 1.3%, 도메인 외 테스트 세트에서 1.4% 향상된 레이블링 F1을 기록한다.
• 긴 문장과 자원이 부족한 환경에서 기준 모델 대비 더 큰 성능 향상을 보인다.
• MF와 LBP를 통한 엔드 투 엔드 미분 가능한 추론 사용으로 인해 파싱 결정을 통한 효과적인 역전파가 가능해진다.
• 2차 순서 모델링은 복잡하거나 희귀한 구문 구조에서 일관된 성능 향상을 제공한다.
• 도메인 내 및 도메인 외 세트에서 각각 0.3%, 0.4% 향상된 레이블링 F1을 기록하며, 일차 순서 기준 모델보다 뛰어난 성능을 보였다.