[논문 리뷰] Ask the Right Questions: Active Question Reformulation with Reinforcement Learning

Christian Buck, Jannis Bulian외 5명|arXiv (Cornell University)|2017. 05. 22.

Topic Modeling인용 수 82

한 줄 요약

이 논문은 질의 응답(QA)을 강화학습 문제로 재구성하고 AQA를 도입한다. 이는 블랙박스 QA 환경과의 상호작용을 통해 QA 품질을 극대화하도록 질문을 재구성하는 에이전트이며, SearchQA에서 상당한 향상을 보여준다.

ABSTRACT

We frame Question Answering (QA) as a Reinforcement Learning task, an approach that we call Active Question Answering. We propose an agent that sits between the user and a black box QA system and learns to reformulate questions to elicit the best possible answers. The agent probes the system with, potentially many, natural language reformulations of an initial question and aggregates the returned evidence to yield the best answer. The reformulation system is trained end-to-end to maximize answer quality using policy gradient. We evaluate on SearchQA, a dataset of complex questions extracted from Jeopardy!. The agent outperforms a state-of-the-art base model, playing the role of the environment, and other benchmarks. We also analyze the language that the agent has learned while interacting with the question answering system. We find that successful question reformulations look quite different from natural language paraphrases. The agent is able to discover non-trivial reformulation strategies that resemble classic information retrieval techniques such as term re-weighting (tf-idf) and stemming.

연구 동기 및 목표

• 블랙박스 설정에서 반복적인 질문 재구성을 통해 QA 성능 향상을 촉진한다.
• 사용자와 QA 환경 사이에서 작동하는 엔드 투 엔드 RL 주도 재구성 에이전트를 개발한다.
• 학습된 재구성이 최첨단 QA 모델과 휴리스틱 베이스라인을 능가할 수 있음을 보여준다.
• 에이전트 재구성의 언어적 특성을 분석하고 이를 고전 IR 기법과 연관지어 설명한다.

제안 방법

• 초기 질문의 여러 재작성(Rewrite)을 생성하는 재구성 모델이 RL 문제로 QA를 형상화한다.
• 다국어 번역에 대해 사전 학습된 시퀀스-투-시퀀스 재구성기를 사용하고, 정책 그라디언트와 분산 감소용 베이스라인을 사용한 RL로 정제한다.
• BiDAF 기반 환경을 블랙박스 QA 시스템으로 활용하여 정답과 보상을 반환하며, 보상은 정답 품질(token-level F1)에 기초한다.
• CNN 기반의 정답 선택기를 훈련시켜 다중 재구성에서 F1 유래 신호를 사용해 최적의 정답을 선택하게 한다.
• 다국어 MT 데이터(제로샷 번역)를 통해 재구성기를 사전 학습하고, 단일언어 동의어 데이터(Paralex)로 정제를 거쳐 재작성 품질을 향상시킨다.
• CNN 기반 정답 선택기를 사용해 평가하고, SearchQA에서 MI-SubQuery, Base-NMT, 인간 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 RL 구동 재구성 에이전트가 다중 자연어 재작성으로 블랙박스 QA 시스템에 질의하여 QA 성능을 향상시킬 수 있는가?
• RQ2 에이전트가 학습하는 재구성의 유형은 어떠하며, 그것들이 고전 IR 기법(예: tf-idf 가중치 부여, 어간 추출)과 유사한가?
• RQ3 엔드 투 엔드로 학습된 AQA 시스템이 SearchQA 데이터셋에서 베이스라인 및 인간 성능을 능가하는가?
• RQ4 에이전트가 생산하는 언어가 자연스러운 동의어와 어떻게 다른가, 그리고 이것이 QA 모달리티와 어떤 관계가 있는가?
• RQ5 사전학습 전략(다국어 MT → 단일언어 동의어 데이터)이 최종 QA 성능에 미치는 영향은 무엇인가?

주요 결과

• AQA는 SearchQA 테스트 세트에서 BiDAF보다 절대 F1 점수로 11.4 포인트 향상시켰으며(32% 상대 F1 향상).
• 재구성기로부터 최상 가설을 사용하는 경우 원래 질문으로 BiDAF보다 즉시 2.2 F1 향상을 보인다.
• 재구성 후보에 대해 학습된 CNN 기반 정답 선택자가 조건에 걸쳐 MI-SubQuery와 Base-NMT 베이스라인을 약 3%p의 F1 차이로 능가한다.
• Oracle 스타일 평가에서 재구성으로부터의 잠재 여지가 상당함을 보이며(oracle EM 약 50, oracle F1 약 58).
• 에이전트는 용어 재가중, 어간 추출 등 IR 기법과 닮은 비사소한 재구성 전략을 학습하여 자연스러운 동의어와 차이가 있다.
• 재구성은 신경망 QA 인코더의 정렬을 돕기 위해 더 길고 용어가 풍부해질 수 있으며(높은 DF 용어, 중복 증가).