[논문 리뷰] Exploring Machine Reading Comprehension with Explicit Knowledge

Chao Wang, Hui Jiang|arXiv (Cornell University)|2018. 09. 10.

Topic Modeling참고 문헌 12인용 수 4

한 줄 요약

이 논문은 SQuAD의 개발 세트에서 정답 구간 예측을 향상시키기 위해 WordNet 기반 데이터 정제를 통해 명시적 지식을 통합하는 MRC 모델인 지식 보조 독자(KAR)를 제안한다. 추출된 의미 관계의 양을 제어함으로써 KAR는 SQuAD 개발 세트에서 EM 72.4와 F1 81.1을 달성하며, 성능 변동 2%가 지식 양과 직접적으로 연관되어 있어 명시적 지식이 MRC에 효과적임을 입증한다.

ABSTRACT

To apply general knowledge to machine reading comprehension (MRC), we propose an innovative MRC approach, which consists of a WordNet-based data enrichment method and an MRC model named as Knowledge Aided Reader (KAR). The data enrichment method uses the semantic relations of WordNet to extract semantic level inter-word connections from each passage-question pair in the MRC dataset, and allows us to control the amount of the extraction results by setting a hyper-parameter. KAR uses the extraction results of the data enrichment method as explicit knowledge to assist the prediction of answer spans. According to the experimental results, the single model of KAR achieves an Exact Match (EM) of $72.4$ and an F1 Score of $81.1$ on the development set of SQuAD, and more importantly, by applying different settings in the data enrichment method to change the amount of the extraction results, there is a $2\%$ variation in the resulting performance of KAR, which implies that the explicit knowledge provided by the data enrichment method plays an effective role in the training of KAR.

연구 동기 및 목표

• 모델 학습 과정에 일반 지식을 명시적으로 통합하여 기계적 독해(MRC) 성능을 향상시키는 것.
• 기존 MRC 모델이 외부 의미 지식을 활용하지 않고 문맥에만 의존하는 한계를 해결하는 것.
• 명시적으로 추출한 지식의 양이 MRC 모델 성능에 미치는 영향을 조사하는 것.
• WordNet을 기반으로 한 문장-질문 쌍에서 의미 관계를 체계적으로 추출하는 데이터 정제 방법을 개발하는 것.

제안 방법

• WordNet 기반의 데이터 정제 방법이 문장-질문 쌍의 단어 간 의미 관계를 추출하여 명시적 지식을 생성한다.
• 하이퍼파라미터를 통해 추출된 관계의 양을 제어함으로써 지식 입력 크기를 조절할 수 있다.
• 지식 보조 독자(KAR) 모델은 정답 구간 예측 과정에서 강화된 의미 관계를 명시적 지식으로 통합한다.
• KAR는 주어진 맥락과 질문 표현에 명시적 지식을 통합하기 위해 어텐션 메커니즘을 사용한다.
• 모델는 강화된 지식을 보조 입력으로 사용하여 SQuAD 데이터셋에서 엔드 투 엔드로 훈련된다.
• 성능 평가는 다양한 지식 양 설정 하에서 SQuAD 개발 세트의 EM 및 F1 점수를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 WordNet에서 유래한 명시적 지식의 통합이 MRC 모델 성능에 어떤 영향을 미치는가?
• RQ2 추출된 지식의 양이 MRC 모델의 예측 정확도에 어느 정도 영향을 미치는가?
• RQ3 WordNet 기반의 데이터 정제 방법이 MRC 데이터에서 의미적으로 관련된 단어 간 연결을 효과적으로 추출할 수 있는가?
• RQ4 명시적 지식의 사용이 다양한 지식 양 설정에서 일관된 성능 향상으로 이어지는가?

주요 결과

• 단일 모델인 KAR는 SQuAD 개발 세트에서 정확 일치(EM) 점수 72.4와 F1 점수 81.1을 기록한다.
• 데이터 정제 하이퍼파라미터의 설정에 따라 성능이 최대 2% 변동하며, 이는 지식의 양과 모델 정확도 사이에 직접적인 상관관계가 있음을 시사한다.
• 성능의 변동은 WordNet를 통해 추출한 명시적 지식이 MRC 예측 향상에 중요한 역할을 한다는 것을 확인한다.
• 결과는 제어된 지식 주입이 특히 정확한 정답 구간을 식별하는 데에 모델 추론 능력을 향상시킨다는 것을 시사한다.
• 기존 SQuAD 애너테이션 외에 추가 학습 데이터가 필요 없이 외부 의미 지식을 MRC에 성공적으로 통합하였다.
• 지식 입력 증가에 따라 성능 향상이 일관되게 관찰됨으로써 지식 주입의 효과가 검증되었으며, 이는 확장성과 제어 가능성의 잠재력을 시사한다.