[논문 리뷰] Document Modeling with Graph Attention Networks for Multi-grained Machine Reading Comprehension

Bo Zheng, Haoyang Wen외 6명|arXiv (Cornell University)|2020. 05. 12.

Topic Modeling참고 문헌 33인용 수 6

한 줄 요약

이 논문은 BERT와 GAT를 사용하여 토큰, 문장, 파aragraph, 문서의 네 가지 분해능에서 문서를 동시에 모델링하는 그래프 주의망(GAT)-기반 프레임워크를 제안한다. 자연질문(Natural Questions) 데이터셋에서 다중 분해능 기계독해를 향상시키기 위해, 장기(파aragraph 수준) 및 단기(엔티티 수준) 답변 예측을 동시에 학습함으로써 상호 분해능 간 의존성을 포착한다. 제출 당시 두 지표에서 최고 성능을 달성하였다.

ABSTRACT

Natural Questions is a new challenging machine reading comprehension benchmark with two-grained answers, which are a long answer (typically a paragraph) and a short answer (one or more entities inside the long answer). Despite the effectiveness of existing methods on this benchmark, they treat these two sub-tasks individually during training while ignoring their dependencies. To address this issue, we present a novel multi-grained machine reading comprehension framework that focuses on modeling documents at their hierarchical nature, which are different levels of granularity: documents, paragraphs, sentences, and tokens. We utilize graph attention networks to obtain different levels of representations so that they can be learned simultaneously. The long and short answers can be extracted from paragraph-level representation and token-level representation, respectively. In this way, we can model the dependencies between the two-grained answers to provide evidence for each other. We jointly train the two sub-tasks, and our experiments show that our approach significantly outperforms previous systems at both long and short answer criteria.

연구 동기 및 목표

• 기존 모델이 장기 및 단기 답변 추출을 독립적인 작업으로 간주하여 상호 의존성을 忽시하는 한계를 해결하기 위해.
• 그래프 기반 계층적 표현을 사용하여 토큰, 문장, 파aragraph, 문서의 다중 분해능에서 문서를 모델링하기 위해.
• 공유된 다중 분해능 표현을 사용하여 장기 및 단기 답변 하위 작업을 동시에 학습함으로써 Natural Questions 벤치마크에서 성능을 향상시키기 위해.
• 두 분해능 답변 간의 의존성을 모델링함으로써 전체 MRC 정확도가 향상됨을 입증하기 위해.

제안 방법

• 모델은 질문과 문서 조각을 BERT를 사용해 문맥 기반 임베딩으로 인코딩한다.
• 노드가 토큰, 문장, 파aragraph, 문서를 나타내고, 간선이 그들 사이의 구조적 및 의미적 관계를 인코딩하는 이질적 그래프를 구축한다.
• 그래프 주의망(GATs)을 적용하여 그래프 전역에서 표현을 전파하고 집계함으로써 분해능 간 계층적 의존성을 포착한다.
• 장기 답변 예측(파aragraph 수준 표현에서)과 단기 답변 예측(토큰 수준의 시작/종료 스팬에서)을 동시에 최적화한다.
• 다중 분해능 표현을 통합하는 그래프 통합 레이어를 통해 수준 간 정보 흐름과 동시 최적화를 가능하게 한다.
• 추론 시, 파ip라인 전략을 사용한다: 먼저 장기 답변을 선택하고, 그 선택된 장기 답변에서 단기 답변을 추출한다.

실험 결과

연구 질문

• RQ1 장기 및 단기 답변 예측의 동시 학습이 다중 분해능 MRC 벤치마크 성능 향상에 기여하는가?
• RQ2 다중 분해능(토큰, 문장, 파aragraph, 문서)에서 문서를 모델링하면 답변 추출에 어떤 영향을 미치는가?
• RQ3 그래프 주의 메커니즘이 문서 수준 간 계층적 의존성을 포착하는 데 기여하는 정도는 어떠한가?
• RQ4 그래프 인코더의 다양한 구성 요소(예: 관계 임베딩, 자기주시 주의, 통합 레이어)가 모델 성능에 미치는 영향은 무엇인가?

주요 결과

• 제출 당시(2019년 6월 25일) Natural Questions 벤치마크에서 장기 및 단기 답변 평가 기준 모두 최고 성능을 달성하였다.
• 장기 및 단기 답변 작업을 동시에 학습하면 독립적으로 학습하는 것보다 성능이 향상되며, 하위 작업 중 하나를 제거할 경우 장기 답변 F1은 5.0% 감소하고 단기 답변 F1은 0.9% 감소한다.
• 전체 그래프 모듈을 제거하면 장기 답변 F1은 5.0% 감소하고 단기 답변 F1은 0.9% 감소하여, 다중 분해능 그래프 표현의 중요성을 입증한다.
• 제거 실험 결과, 그래프 인코더의 각 구성 요소—관계 임베딩, 그래프 통합 레이어, 자기주시 주의—모두 성능 향상에 기여하며, 제거 시 성능이 0.5%에서 0.8% 감소한다.
• 개발 세트에서 단기 및 장기 답변 기준 모두 단일 인간 성능을 초월한다.