[논문 리뷰] Explicit Utilization of General Knowledge in Machine Reading Comprehension

Chao Wang, Hui Jiang|arXiv (Cornell University)|2018. 09. 10.

Topic Modeling참고 문헌 40인용 수 9

한 줄 요약

이 논문은 단어 간 의미적 연결 관계(예: 동의어, 하위 개념 관계)를 WordNet에서 추출한 일반 지식을 명시적으로 통합하여 주의 메커니즘을 향상시키는 엔드 투 엔드 기계적 독해 모델인 지식 보조 독자(Knowledge Aided Reader, KAR)를 제안한다. KAR는 표준 벤치마크에서 최고 성능을 기록하며, 특히 훈련 데이터가 제한되거나 손상된 경우 데이터 효율성과 적대적 노이즈에 대한 강건성 면에서 기존 모델을 크게 능가한다.

ABSTRACT

To bridge the gap between Machine Reading Comprehension (MRC) models and human beings, which is mainly reflected in the hunger for data and the robustness to noise, in this paper, we explore how to integrate the neural networks of MRC models with the general knowledge of human beings. On the one hand, we propose a data enrichment method, which uses WordNet to extract inter-word semantic connections as general knowledge from each given passage-question pair. On the other hand, we propose an end-to-end MRC model named as Knowledge Aided Reader (KAR), which explicitly uses the above extracted general knowledge to assist its attention mechanisms. Based on the data enrichment method, KAR is comparable in performance with the state-of-the-art MRC models, and significantly more robust to noise than them. When only a subset (20%-80%) of the training examples are available, KAR outperforms the state-of-the-art MRC models by a large margin, and is still reasonably robust to noise.

연구 동기 및 목표

• MRC 모델과 인간 독자 간의 데이터 효율성 및 노이즈에 대한 강건성 격차를 해소하기 위해.
• 현재 MRC 모델가 단지 문맥 기반 정보에 의존하고 일반 세계 지식에 액세스하지 못하는 한계를 해결하기 위해.
• 문서 간 의미적 연결 관계(예: 동의어, 하위 개념 관계 등)를 구조화된 일반 지식으로 명시적으로 활용할 수 있는 방법을 개발하기 위해.
• 일반 지식이 주의 메커니즘에 어떻게 영향을 미치는지 이해하고 제어할 수 있는 엔드 투 엔드 MRC 모델을 설계하기 위해.
• 일반 지식을 명시적으로 통합함으로써 성능 향상이 이루어지는지 평가하기, 특히 저데이터 및 노이즈 조건에서의 성능 향상을 확인하기 위해.

제안 방법

• 데이터 강화 방법을 통해 각 문장-질문 쌍에서 WordNet을 이용해 단어 간 의미적 연결 관계(예: 동의어, 하위 개념 관계)를 추출한다.
• 다단계 체인을 통해 WordNet 내에서 의미 관계를 추출하며, 'facilitate' → 'help' 또는 'Brooklyn' → 'borough'와 같은 관계를 포괄한다.
• 추출된 의미 관계를 일반 지식으로 간주하고 KAR 모델의 입력으로 제공한다.
• KAR는 답변 구간 예측 과정에서 관련 의미 관계에만 집중할 수 있도록 지식 기반 주의 메커니즘을 사용한다.
• 주의 가중치가 사전에 추출된 의미 관계의 관련성에 따라 동적으로 조정되는 방식으로 엔드 투 엔드로 학습된다.
• SQuAD에서 다양한 훈련 세트 크기와 적대적 노이즈(AddSent, AddOneSent)를 적용하여 데이터 효율성과 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 WordNet에서 유도된 단어 간 의미적 연결 관계를 명시적으로 통합하면 MRC 모델의 성능 향상이 이루어지는가?
• RQ2 일반 지식을 사용하면 테스트 예제에서 적대적 노이즈에 대한 모델의 강건성이 향상되는가?
• RQ3 소량의 훈련 데이터만 제공될 경우 지식 증강 MRC 모델이 높은 성능을 유지할 수 있는가?
• RQ4 해당 지식의 명시적 사용과 암묵적 지식 인코딩 간의 해석 가능성과 제어 가능성에서의 성능 비교는 어떻게 되는가?
• RQ5 WordNet에서 유도된 다단계 의미 관계가 MRC의 답변 예측에 얼마나 기여하는가?

주요 결과

• KAR는 SQuAD 개발 세트에서 경쟁력 있는 성능을 기록하며, EM 및 F1 점수에서 최고 성능 모델과 동등한 성능을 보였다.
• 훈련 데이터의 20%만으로 학습된 경우, KAR는 SAN과 QANet을 크게 앞서며 뛰어난 데이터 효율성을 입증했다.
• 적대적 테스트 세트(AddSent 및 AddOneSent)에서 KAR는 SAN과 QANet보다 유의미하게 높은 성능을 유지하며, 노이즈 주입에 대한 강건성이 뛰어나다는 것을 입증했다.
• WordNet에서 사전 추출한 의미 관계를 사용함으로써 효과적인 훈련 신호가 증가했으며, 이는 여러 예제에 걸쳐 공통으로 나타나기 때문에 훈련 데이터의 효과적 확장을 가능하게 했다.
• KAR의 주의 메커니즘은 불필요하거나 혼란스러운 의미 관계(예: 금융 맥락에서 'bank'와 'waterside')를 억제하여 관련 지식에 대한 집중력을 향상시켰다.
• 성능 향상의 원인은 일반 지식를 명시적이고 제어 가능한 방식으로 활용한 데 기인하며, 이는 표면적 어휘 일치를 넘어서 추론할 수 있도록 허용한다.