[논문 리뷰] A Thorough Examination of the CNN/Daily Mail Reading Comprehension Task

Danqi Chen, Jason Bolton외 1명|arXiv (Cornell University)|2016. 06. 09.

Topic Modeling참고 문헌 16인용 수 128

한 줄 요약

이 논문은 CNN/Daily Mail RC task를 분석하고 간단하고 잘 설계된 시스템이 최첨단 결과를 달성할 수 있음을 보여주며(데일리 메일에서 최대 76.6%) 이 과제가 이전에 생각했던 것보다 더 쉽고 대부분의 문제는 한 문장 추론으로 해결 가능하다고 주장한다.

ABSTRACT

Enabling a computer to understand a document so that it can answer comprehension questions is a central, yet unsolved goal of NLP. A key factor impeding its solution by machine learned systems is the limited availability of human-annotated data. Hermann et al. (2015) seek to solve this problem by creating over a million training examples by pairing CNN and Daily Mail news articles with their summarized bullet points, and show that a neural network can then be trained to give good performance on this task. In this paper, we conduct a thorough examination of this new reading comprehension task. Our primary aim is to understand what depth of language understanding is required to do well on this task. We approach this from one side by doing a careful hand-analysis of a small subset of the problems and from the other by showing that simple, carefully designed systems can obtain accuracies of 73.6% and 76.6% on these two datasets, exceeding current state-of-the-art results by 7-10% and approaching what we believe is the ceiling for performance on this task.

연구 동기 및 목표

• CNN/Daily Mail 기사에서 생성된 CNN/Daily Mail RC 과제의 난이도와 핵심 요약을 평가한다.
• 이 데이터셋에서 높은 성능을 내려면 필요한 언어 이해 능력을 식별한다.
• 성능의 하한과 상한을 확립하기 위한 간단한 특징 기반 및 신경망 모델을 개발·평가한다.
• 데이터 품질 이슈(공참조 오류, 익명화)와 모델 성능에 미치는 영향을 진단한다.

제안 방법

• AttentiveReader에서 영감을 받은 엔터티 중심 특징 기반 분류기와 엔드 투 엔드 신경망을 구현한다.
• 질문과 passage 맥락 임베딩 간의 관련성을 계산하기 위해 이중 선형(attention) 주의 메커니즘을 사용한다.
• 후보 엔터티에 대해 소프트맥스를 사용하고 음의 로그 가능도를 최적화한다.
• 훈련 효율성과 성능을 높이기 위해 엔터티 마커를 최초 등장 시점으로 재라벨링한다.
• 과제의 난이도와 상한 성능을 평가하기 위해 윈도우 기반 메모리 네트워크 및 기존 RC 모델과 비교한다.

실험 결과

연구 질문

• RQ1 CNN/Daily Mail RC 과제에서 잘 수행하기 위해 필요한 자연어 이해 수준은 어느 정도인가?
• RQ2 이 데이터셋에서 단순한 전통적 NLP 특징이 신경망 모델과 경쟁할 수 있는가?
• RQ3 데이터 구성 및 공참조/익명화 이슈를 고려했을 때 성능의 상한은 무엇인가?
• RQ4 모델 예측이 질문 유형과 언어 현상(의역, 정확 일치, 공참조 오류)별로 어떻게 나뉘는가?

주요 결과

Model	CNN Dev	CNN Test	Daily Mail Dev	Daily Mail Test
Frame-semantic model	36.3	40.2	35.5	35.5
Word distance model	50.5	50.9	56.4	55.5
Deep LSTM Reader	55.0	57.0	63.3	62.2
Attentive Reader	61.6	63.0	70.5	69.0
Impatient Reader	61.8	63.8	69.0	68.0
MemNNs (window memory)	58.0	60.6	N/A	N/A
MemNNs (window memory + self-sup.)	63.4	66.8	N/A	N/A
MemNNs (ensemble)	66.2	69.4	N/A	N/A
Ours: Classifier	67.1	67.9	69.1	68.3
Ours: Neural net	72.5	72.7	76.9	76.0
Ours: Neural net (ensemble)	76.2	77.6	79.5	78.7
Ours: Neural net (relabeling)	73.8	73.6	77.6	76.6
Ours: Neural net (relabeling, ensemble)	77.2	77.6	80.2	79.2

• 일반적인 특징 기반 분류기가 CNN 테스트에서 67.9%의 정확도를 달성하여 이전의 기호 기반 비교기 및 많은 신경망 비교기를 능가한다.
• 뉴럴 AttentiveReader 류의 모델이 Relabeling 없이도 72.5%(CNN) 및 76.9%(Daily Mail)을 달성하며, Relabeling으로 73.6%(CNN) 및 76.6%(Daily Mail)으로 향상시킨다.
• 다섯 개 모델의 앙상블은 추가 이득을 보여 주며 Relabeled 앙상블에서 Daily Mail 최대 79.2%, CNN 80.2%까지 도달한다.
• 특징 제거 분석에서 n-그램 일치 및 엔터티 빈도가 분류기에서 가장 영향력이 큰 특징임을 보여준다.
• 카테고리별 분석에서 정확 일치 질문은 두 시스템 모두에 쉬운 반면, 의역 및 부분 단서 질문은 신경망 모델에 더 큰 이점을 보이며 공참조 오류 및 어렵고 모호한 사례로 상한 성능이 약 75%–80%로 제한된다.
• 저자는 과제가 다수의 문장을 통한 추론보다 단일 문장 추론으로 축소되는 경향이 크며, 현재 시스템은 모호하지 않은 사례에 대해 성능 천장에 가깝다고 주장한다.