[논문 리뷰] Consensus Attention-based Neural Networks for Chinese Reading Comprehension

Yiming Cui, Ting Liu외 3명|arXiv (Cornell University)|2016. 07. 08.

Topic Modeling참고 문헌 16인용 수 43

한 줄 요약

이 논문은 사람일보와 어린이 동화라는 공개된 중국어 독해 데이터셋을 소개하며, 모든 질의어를 종합적으로 고려하는 공감 주의 기반 Sum Reader 모델을 제안한다. 이 모델은 질의어 전부의 주의를 통합하여 답변 예측을 향상시킨다. 모델은 자동 생성된 테스트 세트와 인간 평가 테스트 세트를 포함한 여러 벤치마크에서 최신 기술을 뛰어넘는 성능을 보이며, 중국어 기계 독해 분야의 새로운 기준을 설정한다.

ABSTRACT

Reading comprehension has embraced a booming in recent NLP research. Several institutes have released the Cloze-style reading comprehension data, and these have greatly accelerated the research of machine comprehension. In this work, we firstly present Chinese reading comprehension datasets, which consist of People Daily news dataset and Children's Fairy Tale (CFT) dataset. Also, we propose a consensus attention-based neural network architecture to tackle the Cloze-style reading comprehension problem, which aims to induce a consensus attention over every words in the query. Experimental results show that the proposed neural network significantly outperforms the state-of-the-art baselines in several public datasets. Furthermore, we setup a baseline for Chinese reading comprehension task, and hopefully this would speed up the process for future research.

연구 동기 및 목표

• 사람일보 뉴스와 어린이 동화라는 두 가지 새로운 데이터셋을 공개하여 대규모 고품질 중국어 독해 데이터셋의 부족을 해결한다.
• 질의어의 전체 표현을 포괄하는 개선된 신경망 모델을 제안하여 중국어 기계 독해의 성능을 향상시키고, 더 나은 주의 계산을 위한 질의어 표현을 캡처한다.
• 자동 생성된 테스트 세트와 인간 평가 테스트 세트를 모두 활용하여 향후 중국어 독해 연구를 위한 강력한 기준을 설정한다.
• 패턴 기반 자동 질문과 실제 세계의 복잡한 이해 과제 사이의 격차를 메우기 위해 인간 평가 테스트 세트를 도입한다.

제안 방법

• 질의어의 모든 단어를 사용하여 문서에 대한 주의를 계산하는 공감 주의 기반 Sum Reader 모델을 제안하며, 단일 질의어에 의존하지 않는다.
• 모든 질의어 단어의 기여를 통합하기 위해 공감 주의 메커니즘을 사용하여 질의어와 문서 간의 더 강력한 정렬을 가능하게 한다.
• 포인터 네트워크를 영감으로 삼은 주의 기반 신경망 아키텍처를 활용하여 주의 점수에 기반해 문서에서 직접 답변 단어를 선택한다.
• 두 단계 훈련 전략을 적용한다: 대규모 자동 생성 데이터에서의 사전 훈련과 인간 평가 테스트 세트에서의 미세 조정.
• 단어 수준의 주의를 활용하여 문서의 맥락 인식 표현을 계산하고, 가장 높은 주의 가중치를 가진 토큰을 기반으로 답변 예측을 수행한다.
• 학습 데이터에서 명시적 명칭을 익명화하고 토큰을 재정렬하여 어휘 패턴에 대한 의존도를 줄이고 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 공감 주의를 통해 모든 질의어를 종합적으로 고려하는 신경망 모델이 단일어 주의를 사용하는 모델보다 중국어 클로즈 스타일 독해 과제에서 더 높은 성능을 내는가?
• RQ2 제안된 모델은 자동 생성된 테스트 세트와 인간 평가 테스트 세트에서 각각 어떻게 성능을 내는가? 특히 비패턴 기반, 실제 세계의 질문을 다룰 때 어떻게 되는가?
• RQ3 인간 평가 테스트 세트의 포함 여부가 순수하게 합성된 데이터셋에 비해 독해 모델의 강건성과 일반화 능력을 얼마나 향상시키는가?
• RQ4 공감 주의 메커니즘이 자동 생성된 훈련 데이터에 존재하는 어휘 패턴에 대한 과적합을 줄이는가?

주요 결과

• 제안된 공감 주의 기반 Sum Reader 모델은 CNN/Daily Mail 및 어린이 책 테스트 데이터셋에서 여러 최신 기술 기반 모델을 뛰어넘는 성능 향상을 보였다.
• 비정형적이고 자연어 형태의 질문을 포함한 더 도전적인 인간 평가 테스트 세트에서 모델은 뛰어난 일반화 능력을 보였다.
• 인간 평가 테스트 세트의 포함은 현재 모델가 여전히 실제 세계의 비패턴 기반 질문에서 어려움을 겪고 있음을 드러내며, 추론 및 이해 능력 향상의 여지가 있음을 시사한다.
• 공감 주의 메커니즘은 모든 질의어 단어에서 정보를 통합함으로써 복잡한 질의어-문서 관계를 효과적으로 포착하여 더 정확한 답변 선택을 가능하게 했다.
• 모델는 가중치 합 표현이 필요 없이 주의 점수에 기반해 문서에서 직접 답변 토큰을 예측함으로써 기존 주의 기반 접근 방식을 능가했다.
• 사람일보와 어린이 동화 데이터셋의 공개는 중국어 독해를 위한 새로운 기준을 제공하며, 실제 세계의 이해 과제에 더 잘 부합하는 인간 평가 테스트 세트를 포함하고 있다.