[논문 리뷰] Second-Order Neural Dependency Parsing with Message Passing and End-to-End Training

Xinyu Wang, Kewei Tu|arXiv (Cornell University)|2020. 10. 10.

Topic Modeling참고 문헌 32인용 수 16

한 줄 요약

이 논문은 메시지 전달과 엔드 투 엔드 훈련을 사용하는 두 번째 차수 기반 그래프 신경망 의존성 파서를 제안하며, 영어 및 중국어 트리뱅크에서 최신 기술 수준의 성능을 달성하면서도 이전의 두 번째 차수 접근보다 훨씬 빠른 속도를 기록한다. 이는 BERT 임베딩을 사용할 때조차도 두 번째 차수 디코딩이 여전히 유용함을 보여주며, 헤드 선택 제약 조건은 강력한 문맥적 표현에서 제한적인 이점을 제공한다는 것을 시사한다.

ABSTRACT

In this paper, we propose second-order graph-based neural dependency parsing using message passing and end-to-end neural networks. We empirically show that our approaches match the accuracy of very recent state-of-the-art second-order graph-based neural dependency parsers and have significantly faster speed in both training and testing. We also empirically show the advantage of second-order parsing over first-order parsing and observe that the usefulness of the head-selection structured constraint vanishes when using BERT embedding.

연구 동기 및 목표

• 기존 신경망 접근법보다 정확도와 효율성을 향상시킨 두 번째 차수 기반 그래프 기반 의존성 파서를 개발하는 것.
• BERT와 같은 강력한 문맥 임베딩을 사용할 때 두 번째 차수 디코딩이 여전히 유용한지 조사하는 것.
• 다양한 임베딩 환경에서 첫 번째 및 두 번째 차수 파싱에서 헤드 선택 구조적 제약 조건의 영향을 평가하는 것.
• 기존의 첫 번째 및 두 번째 차수 신경망 파서와 비교하여 메시지 전달 기반 두 번째 차수 파싱의 성능과 속도를 비교하는 것.

제안 방법

• 논문은 두 가지 두 번째 차수 파싱 접근법을 제안한다: 간선 존재성을 독립적으로 다루는 Single 방식과 단어별 이산 랜덤 변수를 통해 헤드 선택을 강제하는 Local 방식.
• 루프 없는 신뢰도 전파 대신 평균 장 가우시안 변분 추론(MFVI)을 사용하여 근사 추론을 수행함으로써 더 빠르고 정확도가 동일한 디코딩을 가능하게 한다.
• 간선 점수를 평가하기 위해 이중선형 스코어러를 사용하고, 테스트 중에 유효한 파싱 트리를 보장하기 위해 미분 가능한 최소 스패닝 트리(MST) 추론 단계를 적용한다.
• Local 방식은 단어별로 헤드를 선택할 수 있는 이산 변수를 정의하여 헤드 선택 제약 조건을 통합함으로써 다른 메시지 전달 공식화를 도입한다.
• 모델은 간선 및 레이블 예측을 균형 있게 조정하기 위해 수정된 손실 함수를 사용하며, 정확도 향상을 위해 작은 조정 하이퍼파rameter를 포함하여 엔드 투 엔드로 훈련된다.
• 모델 아키텍처는 BiLSTM 및 BERT와 같은 현대적인 신경망 인코더와 호환되며, 단어 기반으로 병렬화 가능하도록 설계되어 기존 순차적 방법보다 시간 복잡도를 감소시킨다.

실험 결과

연구 질문

• RQ1 BERT와 같은 강력한 문맥 임베딩을 사용할 때 두 번째 차수 디코딩이 여전히 성능 향상에 기여하는가?
• RQ2 헤드 선택 구조적 제약 조건은 첫 번째 및 두 번째 차수 신경망 의존성 파싱에서 정확도에 어떤 영향을 미치는가?
• RQ3 메시지 전달 기반 두 번째 차수 파싱은 기존 최신 기술 수준의 방법보다 경쟁력 있는 정확도를 달성하면서도 더 빠른 훈련 및 추론을 가능하게 하는가?
• RQ4 다양한 언어와 임베딩 유형에서 Local 및 Single 두 번째 차수 접근법의 상대적 성능은 어떻게 달라지는가?

주요 결과

• Local2O 모델은 영어 PTB 및 중국어 CTB 트리뱅크에서 최신 기술 수준의 성능을 달성하며, 최근의 최신 기술 수준 모델과 동등하거나 이를 초월한다.
• BERT 임베딩을 사용할 경우, Single2O 모델은 CTB에서 가장 높은 정확도를 기록하지만, Local2O 모델은 PTB에서 최고의 성능을 기록하여 서로 다른 접근법의 성능가능성이 문맥에 따라 달라짐을 시사한다.
• BERT 임베딩을 사용할 때조차도 두 번째 차수 디코딩이 첫 번째 차수 파싱을 항상 능가함을 확인하였으며, 이는 강력한 문맥 표현이 존재하더라도 고차수 정보가 여전히 유용함을 보여준다.
• 헤드 선택 제약 조건은 제한적인 이점을 제공하며, 특히 BERT를 사용할 경우, 더 나은 손실 설계와 하이퍼파ram터 튜닝을 통해 제약 조건이 없는 모델이 그 정확도를 따라하거나 초월할 수 있음을 확인하였다.
• 제안된 모델들은 이전의 두 번째 차수 파서보다 훨씬 빠르며, Zhang 등(2020)의 방법보다 훈련 시 2.4배, 테스트 시 2.9배 빠르며, 동일 하드웨어에서 GNN보다 훈련 시 1.2배, 테스트 시 2.3배 더 빠르다.
• 제안된 두 번째 차수 디코더의 시간 복잡도는 O(n³)이지만, Zhang 등(2020)의 순차적 디코딩 방식과 달리 매우 병렬화 가능하므로 이로 인해 빠른 속도를 기록한다.