[논문 리뷰] Multi-hop Reading Comprehension through Question Decomposition and Rescoring

Sewon Min, Victor W. Zhong외 2명|arXiv (Cornell University)|2019. 06. 07.

Topic Modeling참고 문헌 24인용 수 14

한 줄 요약

이 논문은 복잡한 질문을 단일 힙 질문으로 분해하는 스패닝 예측을 통해 400개의 레이블된 예제로만 훈련된 다중 힙 추론 이해 시스템인 DecompRC를 제안한다. 이는 여러 분해 경로를 고려하는 글로벌 재평가 메커니즘과 함께 작동하여 HotpotQA에서 최신 성능을 달성하며, 설명 가능하고 증거 기반의 추론을 제공한다.

ABSTRACT

Multi-hop Reading Comprehension (RC) requires reasoning and aggregation across several paragraphs. We propose a system for multi-hop RC that decomposes a compositional question into simpler sub-questions that can be answered by off-the-shelf single-hop RC models. Since annotations for such decomposition are expensive, we recast sub-question generation as a span prediction problem and show that our method, trained using only 400 labeled examples, generates sub-questions that are as effective as human-authored sub-questions. We also introduce a new global rescoring approach that considers each decomposition (i.e. the sub-questions and their answers) to select the best final answer, greatly improving overall performance. Our experiments on HotpotQA show that this approach achieves the state-of-the-art results, while providing explainable evidence for its decision making in the form of sub-questions.

연구 동기 및 목표

• 증거가 여러 단락에 산재해 있는 다중 힙 추론 이해 과제를 해결하기 위해 단계별 추론을 가능하게 하는 분해 기반 접근을 제안한다.
• 비용이 많이 드는 인간 레이블링된 분해에 의존도를 줄이기 위해 하위 질문 생성을 단지 400개의 레이블된 예제로 훈련 가능한 스팬 예측 작업으로 공식화한다.
• 전체 맥락을 사용하여 다수의 분해 경로를 평가하는 글로벌 재평가 메커니즘을 도입함으로써 모델의 강건성과 성능을 향상시킨다.
• 최종 답변에 대한 증거가 되는 인간이 이해할 수 있는 하위 질문을 생성함으로써 설명 가능한 AI 출력을 제공한다.

제안 방법

• 하위 질문 생성은 원본 질문의 스팬을 예측하는 스팬 예측 작업으로 모델링되며, 더 단순한 단일 힙 질문을 형성한다.
• 각 생성된 하위 질문은 표준 단일 힙 추론 이해 모델을 사용하여 답변되며, 이는 모듈러하고 확장 가능한 추론을 가능하게 한다.
• 분해 평가기(Decomposition scorer)는 전체 맥락과 하위 질문 답변을 고려하여 다수의 가능한 분해 경로를 평가하고, 가장 일관되고 정확한 최종 답변을 선택한다.
• 이 시스템은 두 단계 과정을 사용한다: 첫째, 다수의 후보 분해 경로를 생성한다; 둘째, 답변 일관성과 맥락 일치도를 기반으로 각 분해 경로를 재평가한다.
• 관계적 논리 형식이나 원거리 감독에 의존하지 않고, 최소한의 인간 레이블링 데이터(400개 예제)만을 사용하여 감독 학습을 수행한다.
• 최종 답변은 단일 분해 경로에 기반하는 것이 아니라, 모든 가능한 추론 경로를 고려한 글로벌 최적화를 통해 선택된다.

실험 결과

연구 질문

• RQ1 스패닝 예측 접근을 사용해 단지 400개의 레이블된 예제로 다중 힙 추론 이해를 위한 하위 질문 생성을 효과적으로 훈련시킬 수 있는가?
• RQ2 다수의 분해 경로를 평가하는 글로벌 재평가 메커니즘이 단일 분해 선택에 비해 성능을 향상시키는가?
• RQ3 최소한의 데이터로 훈련된 신경망 기반 하위 질문 생성기의 성능이 인간이 작성한 하위 질문과 비교해 어떻게 되는가?
• RQ4 분해 기반 접근 방식은 종단 간 모델에 비해 악성 방해 단락에 대해 얼마나 더 강건한가?
• RQ5 분해 기반 모델의 다중 힙 추론 이해에서 주요 실패 원인은 무엇인가?

주요 결과

• DecompRC는 HotpotQA 벤치마크의 방해 요소 설정 및 전체 위키 설정 모두에서 최신 성능을 달성한다.
• 단지 400개의 레이블된 분해 예제로만 훈련된 모델이 정확한 답변 예측을 유도하는 데 있어 인간이 작성한 하위 질문과 동등한 효과를 내는 것으로 나타났다.
• 맥락 인식 평가 기반으로 가장 우수한 분해 경로를 선택함으로써 글로벌 재평가 메커니즘이 성능 향상에 크게 기여한다.
• 방해 단락이 존재하는 악성 환경에서 강력한 BERT 기반 종단 간 기준 모델보다 성능이 뛰어나 더 강건함을 입증했다.
• 인간 평가 결과, 인간 추론 모델을 사용한 스팬 기반 하위 질문의 상한선 F1 점수는 72.67로 나타나 실패의 47%가 본질적인 분해 한계에 기인함을 시사한다.
• 실패 분석 결과, 주요 실패 유형은 암묵적인 다중 힙 추론, 공통 지식 추론이 필요한 명시적 답변 부재, 카운팅 또는 산술 추론 수행 불가능성으로 확인되었다.