[논문 리뷰] Bi-directional Attention with Agreement for Dependency Parsing

Hao Cheng, Hao Fang외 3명|arXiv (Cornell University)|2016. 08. 06.

Topic Modeling참고 문헌 33인용 수 13

한 줄 요약

이 논문은 이중 방향 어텐션과 정렬 일치를 통합한 그래프 기반 의존 관계 파서인 BiAtt-DP를 제안한다. 이는 정렬 일치를 통해 어텐션 일치를 강제함으로써 정확도를 향상시키며, 전방 및 후방 파싱 방향을 모델링함으로써 O(n²) 복잡도로 고차원 의존 관계를 포착한다. CoNLL 2006 벤치마크에서 14개 언어 중 6개 언어에서 최고 성능을 기록한다.

ABSTRACT

We develop a novel bi-directional attention model for dependency parsing, which learns to agree on headword predictions from the forward and backward parsing directions. The parsing procedure for each direction is formulated as sequentially querying the memory component that stores continuous headword embeddings. The proposed parser makes use of {\it soft} headword embeddings, allowing the model to implicitly capture high-order parsing history without dramatically increasing the computational complexity. We conduct experiments on English, Chinese, and 12 other languages from the CoNLL 2006 shared task, showing that the proposed model achieves state-of-the-art unlabeled attachment scores on 6 languages.

연구 동기 및 목표

• 전방 및 후방 파싱 방향에서 더 풍부한 맥락 정보를 포착하는 이중 방향 어텐션을 활용하여 의존 관계 파싱 정확도를 향상시키기.
• 이중 방향 디코딩에서의 정렬 불일치 문제를 해결하기 위해 전방 및 후방 어텐션 정렬 간의 일치 목표를 도입하기.
• 기존 그래프 기반 파서와 달리 계산 복잡도를 O(n²)를 초과하지 않도록 하면서도 고차원 파싱 이력을 암묵적으로 모델링하기.
• 의존 관계 파싱에서 잠재 어텐션 메커니즘과 관측된 골드 정렬 간 격차를 해소하기 위해 일치 목표의 단순하고 해석 가능한 근사치를 유도하기.
• 메모리 네트워크 기반 어텐션의 효과를 그래프 기반 의존 관계 파싱에 적용함으로써 이 분야에서의 신규 응용을 보여주기.

제안 방법

• 모든 가능한 헤드워드 임베딩을 연속 벡터로 저장하는 메모리 네트워크를 사용하여 메모리 구성 요소를 형성한다.
• 쿼리 구성 요소는 이중 방향 RNN을 사용하여 메모리의 쿼리를 순차적으로 생성하며, 메모리 위에서 어텐션을 통해 소프트 헤드워드 임베딩을 생성한다.
• 어텐션 메커니즘은 쿼리와 각 헤드워드 임베딩 간의 정렬 점수를 계산하여 모든 가능한 헤드에 대한 확률 분포를 생성한다.
• 전방 및 후방 파싱 방향에서의 어텐션 분포를 일치시키기 위해 새로운 일치 목표를 도입하며, 골드 아크 정렬의 미분 가능 근사를 사용한다.
• 단어 형태, 품사 태그, 어간, 기타 특징을 더하여 토큰 임베딩을 구성하며, 파rameter 수를 줄이기 위해 공유 임베딩 매트릭스를 사용한다.
• 파싱 과정은 MSTParser와 유사하게 모든 가능한 아크를 동시에 처리하지만, 순차적 디코딩 중 관련 헤드워드에 동적으로 어텐션을 기울이는 신경 어텐션을 사용한다.

실험 결과

연구 질문

• RQ1 이중 방향 어텐션과 정렬 일치를 통합한 모델이 단일 방향 또는 정렬 일치 기반 모델에 비해 의존 관계 파싱 성능을 향상시키는가?
• RQ2 전방 및 후방 어텐션 방향 간의 일치를 강제하면 더 일관되고 정확한 헤드워드 예측이 가능한가?
• RQ3 메모리 네트워크 기반 어텐션 메커니즘이 계산 복잡도를 O(n²)를 초과하지 않으면서도 고차원 파싱 이력을 암묵적으로 모델링할 수 있는가?
• RQ4 제안된 일치 목표 근사치가 지도 의존 관계 파싱 맥락에서 효과적이며 해석 가능한가?
• RQ5 모델은 고자원 및 저자원 언어를 포함한 다양한 언어에서 최고 성능을 기록하는가?

주요 결과

• BiAtt-DP는 CoNLL 2006 공동 과제에서 중국어, 체코어, 네덜란드어, 독일어, 스페인어, 터키어에서 최고 성능을 기록한 무라벨 첨부 점수(UAS)를 달성했다.
• 영어에서는 이전에 보고된 모든 그래프 기반 파서를 능가하며 강력한 일반화 성능을 입증했다.
• 고자원 및 저자원 언어를 포함한 14개 언어에서 경쟁력 있는 성능을 기록했으며, UAS에서 일관된 향상을 보였다.
• 일치 목표는 전방 및 후방 파싱 방향 간의 정렬 일치도를 크게 향상시켜 더 견고한 예측을 가능하게 했다.
• 계산 복잡도는 O(n²)를 유지하여 고차원 의존 관계를 모델링함에도 불구하고 긴 문장에 대해서도 효율적인 파싱이 가능했다.
• 가산적 토큰 임베딩 설계로 모델 파라미터 수가 감소했으며, 특히 다수의 언어적 특징을 사용할 경우 특징 통합이 향상되었다.