[논문 리뷰] Event Detection: Gate Diversity and Syntactic Importance Scoresfor Graph Convolution Neural Networks

Viet Dac Lai, Tuan Ngo Nguyen외 1명|arXiv (Cornell University)|2020. 10. 27.

Topic Modeling참고 문헌 23인용 수 9

한 줄 요약

이 논문은 이벤트 검출을 위한 그래프 컬러이션 네트워크인 GatedGCN을 제안한다. 이는 불필요한 문법 정보를 걸러내기 위해 트리거 인식 게이팅 메커니즘을 도입하고, 계층적 맥락을 유지하기 위해 레이어 간 게이팅 다양성을 강제한다. 또한 일致성을 확보하기 위해 기반 그래프 및 모델 기반 중요도 점수를 통합하여 ACE-2005에서 74.5, LitBank에서 74.5의 최고 성능 F1 점수를 달성하며, 이는 이전 모델보다 각각 1.4%와 0.6% 높은 성능이다.

ABSTRACT

Recent studies on event detection (ED) haveshown that the syntactic dependency graph canbe employed in graph convolution neural net-works (GCN) to achieve state-of-the-art per-formance. However, the computation of thehidden vectors in such graph-based models isagnostic to the trigger candidate words, po-tentially leaving irrelevant information for thetrigger candidate for event prediction. In addi-tion, the current models for ED fail to exploitthe overall contextual importance scores of thewords, which can be obtained via the depen-dency tree, to boost the performance. In thisstudy, we propose a novel gating mechanismto filter noisy information in the hidden vec-tors of the GCN models for ED based on theinformation from the trigger candidate. Wealso introduce novel mechanisms to achievethe contextual diversity for the gates and theimportance score consistency for the graphsand models in ED. The experiments show thatthe proposed model achieves state-of-the-artperformance on two ED datasets

연구 동기 및 목표

• GCN 기반 모델이 숨겨진 표현을 트리거 무관으로 처리함으로써 노이즈가 많은 정보 유지 문제를 해결하기 위해.
• 트리거 후보의 숨겨진 표현을 기반으로 관련 없는 맥락을 걸러내는 동적 게이팅 메커니즘을 도입하여 표현 학습을 향상시키기 위해.
• 맥락 정보의 계층적 추상화 수준을 반영하기 위해 GCN 레이어 간 게이팅 활성화에 구조적 다양성을 강제하기 위해.
• 기반 그래프의 문법 중요도 점수와 모델 유도 주의 점수를 일치시켜 모델의 해석 가능성과 성능을 향상시키기 위해.
• 구조적 문법 정보와 학습된 표현을 통합하는 효과를 추론 및 비교 실험을 통해 입증하기 위해.

제안 방법

• 각 GCN 레이어에 트리거 인식 게이팅 메커니즘을 도입하여, 트리거 후보의 숨겨진 표현에서 게이팅을 계산하고 관련 없는 인접 단어를 억제한다.
• 레이어 간 게이팅 활성화의 다양성을 유도하기 위해 손실 함수에 정규화 항을 적용하여 서로 다른 추상화 수준을 보장한다.
• 각 단어에서 트리거까지의 의존 경로 거리를 사용하여 기반 그래프 중요도 점수를 계산하여 문법적 관련성을 반영한다.
• 최종 분류기 레이어의 주의 가중치 또는 기울기를 기반으로 모델 기반 중요도 점수를 유도한다.
• 기반 그래프 및 모델 기반 중요도 점수를 일치시키기 위해 일치 손실 항을 도입하여 표현 학습을 향상시킨다.
• 전체 모델인 GatedGCN는 BERT 문장 인코딩, 게이팅이 적용된 GCN 메시지 전달, 중요도 점수 정규화를 통합하여 엔드 투 엔드 학습을 수행한다.

실험 결과

연구 질문

• RQ1 트리거 인식 게이팅 메커니즘이 관련 없는 문법 맥락을 걸러내어 이벤트 검출 성능을 향상시킬 수 있는가?
• RQ2 GCN 레이어 간 게이팅 활성화에 다양성을 강제하면 계층적 맥락 표현을 더 잘 포착할 수 있는가?
• RQ3 기반 그래프 문법 중요도 점수는 이벤트 검출 모델의 학습된 표현 품질을 향상시킬 수 있는가?
• RQ4 기반 그래프 및 모델 기반 중요도 점수를 일치시키면 성능 향상과 더 강력한 특징 학습이 가능해지는가?
• RQ5 제안된 구성 요소들이 벤치마크 데이터셋에서 최고 성능을 달성하는 데 개별 및 종합적으로 기여하는 정도는 어느 정도인가?

주요 결과

• 제안된 GatedGCN 모델은 ACE-2005 테스트 세트에서 최고 성능 F1 점수 74.5를 기록하여, 두 번째로 좋은 성능을 낸 모델(BERT+MLP)보다 1.4%p 높게 기록했다.
• LitBank 테스트 세트에서는 F1 점수 74.5를 기록하여, 최고 성능 모델인 BERT+BiLSTM보다 0.6%p 높은 성능을 달성했다.
• 제거 실험 결과, 게이팅, 다양성 정규화, 일치 손실 중 어느 요소라도 제거하면 성능이 크게 하락함을 확인하여 각 구성 요소의 개별적 및 상호 보완적 기여를 입증했다.
• 중요도 점수의 시각화 결과, GatedGCN 모델은 직접 문법적 이웃가 아닌 단어들 중 의미적으로 관련 있는 단어를 효과적으로 강조함을 확인했다.
• GatedGCN의 모델 기반 중요도 점수는 제거된 모델보다 기반 그래프 점수와 더 잘 일치함을 확인하여 일치성과 해석 가능성 향상을 입증했다.
• ACE-2005 및 LitBank 양쪽에서 유의미한 통계적 유의성(p < 0.05)을 확보하여 제안된 방법의 견고성을 검증했다.