[논문 리뷰] GATE: Graph Attention Transformer Encoder for Cross-lingual Relation and Event Extraction

Wasi Uddin Ahmad, Nanyun Peng외 1명|arXiv (Cornell University)|2020. 10. 06.

Topic Modeling인용 수 10

한 줄 요약

GATE는 통합 의존 구문 분석에서 유도된 문법적 거리를 활용하여 자기주의 주의를 향상시키는 그래프 주의 트랜스포저 인코더를 제안한다. 이를 통해 장거리 의존성을 포착하고 단어 순서 민감도를 감소시켜 영어, 중국어, 아랍어에서 ACE05에서 최고 성능을 달성하며, 이전의 GCN 기반 방법에 비해 뚜렷한 성능 향상을 이룬다.

ABSTRACT

Recent progress in cross-lingual relation and event extraction use graph convolutional networks (GCNs) with universal dependency parses to learn language-agnostic sentence representations such that models trained on one language can be applied to other languages. However, GCNs struggle to model words with long-range dependencies or are not directly connected in the dependency tree. To address these challenges, we propose to utilize the self-attention mechanism where we explicitly fuse structural information to learn the dependencies between words with different syntactic distances. We introduce GATE, a {\bf G}raph {\bf A}ttention {\bf T}ransformer {\bf E}ncoder, and test its cross-lingual transferability on relation and event extraction tasks. We perform experiments on the ACE05 dataset that includes three typologically different languages: English, Chinese, and Arabic. The evaluation results show that GATE outperforms three recently proposed methods by a large margin. Our detailed analysis reveals that due to the reliance on syntactic dependencies, GATE produces robust representations that facilitate transfer across languages.

연구 동기 및 목표

• 다국어 정보 추출을 위한 의존 트리에서 장거리 의존성과 분리된 단어를 모델링하는 데 있어 그래프 컬러션 네트워크(GCNs)의 한계를 해결하기 위해.
• 영어, 중국어, 아랍어와 같은 문법적으로 다양성이 큰 언어 간의 단어 순서 차이에 대한 민감도를 감소시키기 위해.
• 더 나은 구조적 표현 학습을 위해 자기주의 주의 메커니즘에 문법적 거리를 명시적으로 통합함으로써 다국어 간 전이 성능을 향상시키기 위해.
• 병행 데이터나 복잡한 재정렬 전략에 의존하지 않고도 저자원, 다국어 환경에서도 견고한 성능을 유지하는 모델을 개발하기 위해.

제안 방법

• GATE는 유니버설 의존 구문 분석에서 유도된 쌍별 문법적 거리로 조정된 다중 헤드 자기주의 주의 메커니즘을 사용한다.
• 모델은 문법적 거리를 학습 가능한 또는 고정된 바이어스로 사용하여, 순차적 거리와는 무관하게 장거리 의존성을 효과적으로 모델링할 수 있도록 한다.
• 맥락 기반 단어 표현을 M-BERT에서 가져와 입력 특징으로 사용함으로써 다국어 간 전이 능력을 향상시킨다.
• 아키텍처는 선형 순서가 아닌 의존 구조에 기반하여 관계 추론을 수행함으로써 언어 간 순서에 무관한 설계를 한다.
• GATE는 문법적 구조에 따라 주의 헤드 간 정보 흐름을 허용하여 언급 유형과 이벤트/관계 레이블 간의 상관관계 학습을 가능하게 한다.
• 모델은 문장 수준의 관계 및 이벤트 추출에서 엔드 투 엔드로 훈련되며, 단어 간 문법적 경로 길이에 따라 주의 가중치가 동적으로 조정된다.

실험 결과

연구 질문

• RQ1 문법적 거리로 가중된 주의 메커니즘이 다국어 관계 및 이벤트 추출에서 GCN보다 장거리 의존성을 더 잘 모델링할 수 있는가?
• RQ2 자기주의 주의에 문법적 거리를 통합함으로써 영어, 중국어, 아랍어와 같은 언어 간의 단어 순서 변동에 대한 모델 민감도가 감소하는가?
• RQ3 어떤 정도로 문법 인식 주의가 저자원 환경에서 제로샷 또는 희소한 다국어 전이를 향상시키는가?
• RQ4 품사 태그, 의존 관계 레이블, 엔티티 유형과 같은 언어에 관계없이 통용되는 특징들이 GATE의 성능에 어떤 기여를 하는가?

주요 결과

• GATE는 ACE05 벤치마크에서 최고 성능을 기록하여 영어, 중국어, 아랍어에서 모두 관계 및 이벤트 추출에서 최근의 세 가지 방법보다 뛰어난 성능을 보였다.
• 중국어 타겟 언어에서 GATE는 영어를 소스로 사용해 이벤트 추출에서 63.0 F1을 달성했으며, 다음으로 우수한 방법에 비해 3.3 F1 포인트 높은 성능을 기록했다.
• 아랍어에서는 관계 추출에서 60.2 F1, 이벤트 추출에서 63.0 F1을 기록했으며, 평균 문장 길이가 210 토큰에 이르는 장문의 문장에도 불구하고 강력한 다국어 전이 능력을 보였다.
• 제거 실험 결과, 엔티티 유형 특징이 성능 향상에 가장 크게 기여하는 것으로 나타났으며, 품사 및 의존 관계 레이블은 토크나이저 노이즈로 인해 영향이 제한적인 것으로 보였다.
• 모델은 단어 순서 및 문장 구조와 같은 소스 언어 특성에 덜 민감하여, 다국어 환경에서의 견고함을 확인했다.
• GATE의 성능은 세 언어 모두에서 안정적이었으며, 이는 문법 인식 주의를 통한 언어 간 순서에 무관한 표현 학습이 효과적으로 이루어졌음을 시사한다.