[논문 리뷰] Broad Context Language Modeling as Reading Comprehension

Zewei Chu, Hai Wang외 2명|arXiv (Cornell University)|2016. 10. 26.

Topic Modeling참고 문헌 8인용 수 6

한 줄 요약

이 논문은 LAMBADA 언어 모델링 과제를 넓은 맥락에서 단어 예측을 요구하는 독해 문제로 간주하여, 180만 개의 인스턴스로 구성된 자동으로 생성된 대규모 데이터셋에서 신경 독해 모델을 훈련시킴으로써 LAMBADA의 제로샷 언어 모델링 정확도를 7.3%에서 49.0%로 향상시킨다. 이는 맥락을 고려하는 신경 독해 모델이 넓은 맥락에서의 단어 예측 과제에서 기존 언어 모델보다 뚜렷이 뛰어난 성능을 보임을 보여준다.

ABSTRACT

Progress in text understanding has been driven by large datasets that test particular capabilities, like recent datasets for reading comprehension (Hermann et al., 2015). We focus here on the LAMBADA dataset (Paperno et al., 2016), a word prediction task requiring broader context than the immediate sentence. We view LAMBADA as a reading comprehension problem and apply comprehension models based on neural networks. Though these models are constrained to choose a word from the context, they improve the state of the art on LAMBADA from 7.3% to 49%. We analyze 100 instances, finding that neural network readers perform well in cases that involve selecting a name from the context based on dialogue or discourse cues but struggle when coreference resolution or external knowledge is needed.

연구 동기 및 목표

• 넓은 맥락이 필요한 어려운 단어 예측 과제인 LAMBADA 벤치마크에서 최신 기술 성능을 향상시키기 위해.
• 단어 예측을 독해 문제로 간주함으로써 신경 독해 모델이 언어 모델링에 어떻게 응용될 수 있는지 탐구하기 위해.
• 현재 모델이 도전받는 주요 언어 현상, 특히 공호성 해결 및 외부 지식의 유형을 분석하기 위해.
• LAMBADA 유형의 구조를 이용해 맥락을 고려하는 대규모 자동 생성 훈련 데이터셋을 구축하기 위해.
• LAMBADA의 테스트 및 제어 서브셋에서 신경 독해 모델과 인간 성능 간의 일반화 갭을 평가하기 위해.

제안 방법

• 저자들은 BookCorpus에서 목표 단어가 맥락에 포함된 문장 조각을 자동으로 선택하여 180만 개의 인스턴스로 구성된 훈련 세트를 생성함으로써 지도 학습을 가능하게 하였다.
• 신경 독해 모델—특히 Stanford, Attention Sum, Gated-Attention 독해 모델—은 이 합성 데이터셋에서 문장의 마지막 단어를 맥락에 기반해 예측하도록 훈련된다.
• 각 모델은 맥락과 질문(공백이 있는 문장)을 양방향 RNN으로 인코딩하고, 질문 표현을 사용해 맥락 위치에 대한 주의 가중치를 계산하며, 맥락 벡터의 가중합을 통해 답변을 선택한다.
• 모델들은 단어 임베딩을 무작위 초기화에서 학습하는 방식으로 엔드 투 엔드로 훈련되며, 사전 학습된 임베딩을 사용하지 않는다.
• 주의 메커니즘은 모델에 따라 다르며, Attention Sum에서는 내적 곱, Stanford에서는 이차형, Gated-Attention 독해 모델에서는 더 복잡한 게이트 주의 메커니즘을 사용한다.
• 평가 작업은 원본 LAMBADA 테스트 세트에서 수행되며, 성능은 마지막 단어를 정확히 예측한 상위 1개 정확도로 측정된다.

실험 결과

연구 질문

• RQ1 자동으로 생성된 데이터에서 훈련된 신경 독해 모델이 LAMBADA 언어 모델링 벤치마크에서 성능을 크게 향상시킬 수 있는가?
• RQ2 공호성, 논의 추론, 또는 외부 지식과 같은 언어 현상 중에서 현재 신경 독해 모델이 LAMBADA에서 가장 어려워하는 유형은 무엇인가?
• RQ3 신경 독해 모델의 성능은 강력한 언어 모델 기반 베이스라인과 비교해 어떻게 되는가? 특히 맥락에 정답 단어가 포함되어 있지 않은 경우에 대해선 어떻게 되는가?
• RQ4 정답 단어가 맥락에 존재하는지 여부와 모델 성공률 간의 상관관계는 어느 정도이며, 이는 일반화에 어떤 영향을 미치는가?
• RQ5 LAMBADA 테스트 세트에서 인간의 성능은 추정되며, 이는 모델 성능과 비교해 어떻게 되는가?

주요 결과

• 제안된 방법은 LAMBADA 벤치마크에서 기존 최고 성능인 7.3%에서 49.0%로 향상되어 41.7个百分点 향상되었다.
• 신경 독해 모델은 단순한 이름 선택이나 화자 추적을 요구하는 인스턴스에서 가장 뛰어난 성능을 보이며, 각각 9개와 19개의 인스턴스에서 정확도가 100%와 84%에 이르렀다.
• 공호성 해결이나 외부 지식이 필요한 인스턴스에서는 모델이 크게 어려움을 겪으며, 이 분야에서 정확도가 크게 떨어졌다.
• 저자들은 테스트 세트에서 인간 성능을 약 36%로 추정하였으며, 이는 최고 성능 모델과 14个百分点의 격차가 있음을 시사한다.
• 49%의 정확도에도 불구하고, 정답 단어가 맥락에 포함되어 있지 않은 17%의 인스턴스에서 실패함을 보여주며, 이는 이 접근 방식의 핵심 한계를 드러낸다.
• 연구 결과는 제어 세트(정답 단어가 맥락에 포함되어 있지 않은 경우)가 테스트 세트보다 더 어려운 것으로 밝혀졌으며, 두 세트에서의 성능 순위가 유사함을 보여주어 훈련 데이터가 대표성을 갖는다는 것을 시사한다.