[논문 리뷰] Hierarchical Question Answering for Long Documents

Eunsol Choi, Daniel Hewlett외 4명|arXiv (Cornell University)|2016. 11. 06.

Topic Modeling참고 문헌 46인용 수 8

한 줄 요약

이 논문은 질문에 대한 응답을 위한 코arse-to-fine 프레임워크를 제안하며, 먼저 빠른 모델을 사용해 관련 문장을 선별하고, 그 후 더 정확한 RNN을 사용해 해당 문장들에서 응답을 생성함으로써 장문의 문서에서 효율성과 성능을 향상시킨다. 이 방법은 문장 선택을 강화학습을 통해 답변만을 이용해 훈련하는 잠재변수로 간주하며, 기존의 최상위 성능(SOTA)을 달성했고, 기준 모델 대비 3.5배에서 6.7배 빠른 속도를 기록했다.

ABSTRACT

We present a framework for question answering that can efficiently scale to longer documents while maintaining or even improving performance of state-of-the-art models. While most successful approaches for reading comprehension rely on recurrent neural networks (RNNs), running them over long documents is prohibitively slow because it is difficult to parallelize over sequences. Inspired by how people first skim the document, identify relevant parts, and carefully read these parts to produce an answer, we combine a coarse, fast model for selecting relevant sentences and a more expensive RNN for producing the answer from those sentences. We treat sentence selection as a latent variable trained jointly from the answer only using reinforcement learning. Experiments demonstrate the state of the art performance on a challenging subset of the Wikireading and on a new dataset, while speeding up the model by 3.5x-6.7x.

연구 동기 및 목표

• 순차적 계산과 병렬 처리의 부재로 인해 RNN 기반 QA 모델이 장문의 문서를 처리할 때 효율성이 떨어지는 문제를 해결하기 위해.
• 관련 정보가 희박하고 항상 명시적으로 기재되지 않는 장문의 문서 QA에서 성능을 향상시키기 위해.
• 사람의 독서 행동을 모방하는 스킴핑 후 핵심 문장에 집중하는 방식의 모듈러하고 계층적인 QA 시스템을 개발하기 위해.
• 문장 수준의 레이블이 필요 없이 답변만을 이용해 문장 선택을 잠재변수로 훈련시키기 위해.

제안 방법

• 모델은 이중 단계 아키텍처를 사용한다: 빠른 코arse 인코더가 질문에 기반해 문서에서 관련 문장을 선별한다.
• 별도의 더 느린 RNN이 선별된 문장들만을 사용해 최종 응답을 생성하며, 이는 문서 길이에 관계없이 효율적인 계산을 가능하게 한다.
• 문장 선택은 잠재변수로 모델링되며, 답변 생성과 함께 강화학습을 통해 함께 훈련되며, 보상은 답변 정확도에 의해 형상화된다.
• 강화학습 목적함수는 정답 레이블이 아닌 최종 답변만을 감독 신호로 사용하여, 골드 문장 레이블이 필요 없이도 답변 정확도를 최적화한다.
• 문장 선택에는 백오프 워드(BoW) 표현을, 응답 생성에는 게이트드 순환 단위(GRU)를 사용한다.
• 모델은 Wikireading Long과 새로운 데이터셋인 WikiSuggest에서 평가되었으며, 문장 선택 샘플링 및 모델 변종에 대한 분석 실험을 수행했다.

실험 결과

연구 질문

• RQ1 코어스-투-파인 QA 프레임워크는 유의미하게 추론 시간을 단축시키면서도 장문의 문서에서 성능을 향상시킬 수 있는가?
• RQ2 최종 답변 수준의 감독만을 사용해 문장 선택과 응답 생성을 함께 훈련하는 것이 얼마나 효과적인가?
• RQ3 강화학습을 통해 문장 선택을 잠재변수로 간주할 경우, 강력한 기준 모델들보다 장문의 문서 QA에서 더 나은 성능을 내는가?
• RQ4 검색 엔진에서 수집한 자연스럽고 개방적인 질문에 대해, 합성되거나 코딩된 데이터셋과 비교했을 때 모델의 성능은 어떠한가?
• RQ5 모델의 주요 실패 원인은 무엇이며, 코딩된 데이터셋과 노이즈가 많은 실제 세계의 QA 데이터셋 간에 어떻게 다를까?

주요 결과

• 골드 문장 레이블을 사용하지 않았음에도 불구하고, 도전적인 Wikireading Long 서브셋에서 최상위 성능(SOTA)을 달성했다.
• 새로운 WikiSuggest 데이터셋에서 강력한 기준 모델들과 유사한 성능을 기록했으며, 문서 인코딩 속도가 기준 모델 대비 3.5배에서 6.7배 빠르게 향상되었다.
• 기준 모델이 문서를 잘라내는 것과는 달리, 이 모델은 기준 모델보다 네 배 더 많은 문서 토큰에 접근하면서도 높은 정확도를 유지했다.
• 수동 오류 분석 결과, Wikireading Long에서 가장 흔한 실패 원인은 문서에 증거가 부족한 것이었고, 그 다음으로는 긴 답변 생성 오류였다.
• WikiSuggest에서는 노이즈가 많은 질문-응답 쌍과 부정확한 답변 추측가능성이 자주 발생했지만, 모델은 여전히 잘 작동하여 실제 세계의 노이즈에 대한 강건성을 보였다.
• 추론 중에 두 개의 관련 문장을 샘플링하는 것이 Wikireading Long에서 성능 향상에 기여했으며, 이는 어려운 케이스에서 다수의 후보 문장을 제공함으로써 도움이 된다는 것을 시사한다.