[논문 리뷰] Generating Followup Questions for Interpretable Multi-hop Question Answering

Christopher Malon, Bing Bai|arXiv (Cornell University)|2020. 02. 27.

Topic Modeling참고 문헌 19인용 수 4

한 줄 요약

이 논문은 다단계 추론이 필요한 질문에 대해 부분적 증거를 바탕으로 관련성 있는 보조 질문을 생성하는 신경망 프레임워크를 제안한다. 포인터-생성기 네트워크를 사용하여 보다 해석 가능한 보조 질문을 생성함으로써, 이중 힙 설정에서 기준 모델 대비 F1 점수를 8.9% 향상시켰다. 이는 학습된 보조 질문이 검색의 정밀도와 모델의 해석 가능성 향상에 기여하며, 수작업 규칙이 필요하지 않음을 보여준다.

ABSTRACT

We propose a framework for answering open domain multi-hop questions in which partial information is read and used to generate followup questions, to finally be answered by a pretrained single-hop answer extractor. This framework makes each hop interpretable, and makes the retrieval associated with later hops as flexible and specific as for the first hop. As a first instantiation of this framework, we train a pointer-generator network to predict followup questions based on the question and partial information. This provides a novel application of a neural question generation network, which is applied to give weak ground truth single-hop followup questions based on the final answers and their supporting facts. Learning to generate followup questions that select the relevant answer spans against downstream supporting facts, while avoiding distracting premises, poses an exciting semantic challenge for text generation. We present an evaluation using the two-hop bridge questions of HotpotQA.

연구 동기 및 목표

• 다단계 질문 생성에서 다단계 추론이 필요한 브리지 유형 질문에 대해 의미 있고 해석 가능한 보조 질문을 생성하는 데 도전하는 것.
• 수작업 규칙이나 히ュ리스틱에 의존하지 않는 완전히 훈련된 엔드 투 엔드 미분 가능한 보조 질문 생성기 개발.
• 다른 질문을 사용하는 경우와 비교하여 보조 질문 생성이 정답 추출 정확도 향상에 기여하는지 평가하는 것.
• 정답 추출기에서 유도된 약한 지도 학습을 활용하여 보조 질문 생성에 대한 새로운 평가 프로토콜 수립.
• 신경 기반 질문 생성 기술이 어떻게 관련 지원 사실로 향하는 검색을 이끌 수 있는지 탐색하는 것.

제안 방법

• 포인터-생성기 네트워크를 사용하여 첫 번째 단계에서의 부분적 지원 증거와 원본 질문을 기반으로 보조 질문을 생성하도록 훈련한다.
• 커버리지 및 복사 메커니즘을 갖춘 시퀀스 투 시퀀스 아키텍처를 사용하여 유창하고 사실에 기반한 질문을 생성한다.
• 약한 지도 학습을 사용하여 훈련: 생성된 질문의 품질은 고정된 단일 단계 정답 추출기가 두 번째 단계 증거에서 최종 정답을 정확히 추출할 수 있는지 여부에 따라 평가된다.
• 컨트롤러 모듈을 활용하여 검색된 문단을 관련 없음, 최종 정답 포함, 중간 정보 포함로 분류한다.
• 질문을 반복적으로 더 단순한 보조 질문으로 분해하며, 각 단계에서 사전 훈련된 단일 단계 모델을 사용해 정답을 추출한다.
• 원자료의 보조 질문 생성 성능을 분리하기 위해, 지원 사실의 완벽한 검색을 가정하는 오라클 설정을 사용한다.

실험 결과

연구 질문

• RQ1 신경 기반 질문 생성기가 원본 질문을 해결하기 위해 필요한 누락된 정보와 의미적으로 일치하는 동시에 유창한 보조 질문을 학습적으로 생성할 수 있는가?
• RQ2 직접 단일 단계 검색을 사용하거나 원본 질문을 그대로 반복 사용하는 것과 비교해, 보조 질문 생성이 정답 추출 정확도 향상에 기여하는가?
• RQ3 다단계 QA에서 브리지 질문의 다양한 유형에 따라 보조 질문 생성기의 성능은 어떻게 변화하는가?
• RQ4 정답 추출기에서 유도된 약한 지도 학습이 생성된 보조 질문의 품질 향상에 얼마나 기여하는가?
• RQ5 생성된 보조 질문이 흐린 전제를 피하고 관련 지원 사실에 집중하도록 효과적으로 검색을 이끌 수 있는가?

주요 결과

• 훈련된 보조 질문 생성기는 원본 질문을 그대로 재사용하는 기준 모델 대비 F1 점수를 8.9% 향상시켰으며, 맥락에 민감한 보조 질문 생성의 가치를 입증했다.
• 'Q1 아니면 Q2' 전략을 사용할 경우 성능이 가장 높았으며, 필터링된 개발 세트에서 각각 34.7 F1과 43.8 F1을 기록했다.
• 원본 질문이 모호하거나 충분하지 않은 경우에도, 생성된 보조 질문이 두 번째 단계 증거에서 정답을 정확히 추출할 수 있도록 70%의 경우에 관련성이 있는 보조 질문을 성공적으로 생성했다.
• 두 번째 단계에서 1,180개의 보조 질문을 생성하였으며, 그 중 975개에서 정답 추출기가 성공적으로 정답을 추출하여 후속 사용에 있어 높은 신뢰성을 보였다.
• 오라클 평가 설정에서 보조 질문 생성기가 검색의 정밀도를 크게 향상시킨 것으로 확인되었으며, 흐린 전제를 피하고 관련 사실에 집중하는 데 기여했다.
• 원본 질문을 그대로 재사용하는 단순 기준 모델보다 성능이 뛰어나, 학습된 보조 질문이 다단계 추론에서 정적 쿼리보다 더 효과적임을 입증했다.