[논문 리뷰] Understanding Dataset Design Choices for Multi-hop Reasoning

Jifan Chen, Greg Durrett|arXiv (Cornell University)|2019. 04. 27.

Topic Modeling참고 문헌 25인용 수 9

한 줄 요약

이 논문은 웹하포와 핫포타QA라는 두 개의 유명한 다단계 추론 QA 데이터셋에서 최신 모델이 뛰어난 성능을 내기 위해 진정으로 다단계 추론이 필요한지 조사한다. 각 문장을 별도로 분석하는 문장-요소 모델과 질문과 답변 후보만을 사용하는 컨텍스트 없는 기준 모델을 테스트함으로써, 저자들은 두 데이터셋의 50퍼센트 이상 예제가 다단계 추론 없이도 해결 가능하며, 강력한 성능이 표면적인 상관관계를 통해 달성된다는 점을 발견한다. 이는 현재 모델이 복잡한 추론을 진정으로 학습하고 있는지에 대한 심각한 우려를 제기한다.

ABSTRACT

Learning multi-hop reasoning has been a key challenge for reading comprehension models, leading to the design of datasets that explicitly focus on it. Ideally, a model should not be able to perform well on a multi-hop question answering task without doing multi-hop reasoning. In this paper, we investigate two recently proposed datasets, WikiHop and HotpotQA. First, we explore sentence-factored models for these tasks; by design, these models cannot do multi-hop reasoning, but they are still able to solve a large number of examples in both datasets. Furthermore, we find spurious correlations in the unmasked version of WikiHop, which make it easy to achieve high performance considering only the questions and answers. Finally, we investigate one key difference between these datasets, namely span-based vs. multiple-choice formulations of the QA task. Multiple-choice versions of both datasets can be easily gamed, and two models we examine only marginally exceed a baseline in this setting. Overall, while these datasets are useful testbeds, high-performing models may not be learning as much multi-hop reasoning as previously thought.

연구 동기 및 목표

• 웹하포와 핫포타QA라는 두 개의 널리 사용되는 다단계 추론 QA 데이터셋에서 높은 성능을 내기 위해 다단계 추론이 진정으로 필요한지 평가하는 것.
• 모델이 진정된 추론이 아닌 표면적인 패턴 매칭이나 허수 상관관계를 통해 높은 성능를 달성할 수 있는 정도를 평가하는 것.
• 다단계 추론을 방지하는 데 효과적인 스판 기반과 다중선택형 지도 학습 방식의 비교.
• 이들 데이터셋의 다중선택형 버전에서 높은 성능가가 진정된 다단계 추론을 반영하는지, 아니면 표면적인 통계적 신호를 악용하는지 조사하는 것.
• 문장-요소 모델을 활용한 적대적 평가를 통해 다단계 추론이 필요하지 않은 예제를 식별하고, 더 견고한 다단계 추론 데이터셋을 구성하기 위한 지침을 제공하는 것.

제안 방법

• 다른 문장의 정보를 사용하지 않고 각 문장이 답을 포함하고 있는지 독립적으로 평가하는 문장-요소 모델을 제안하여 다단계 추론이 실제로 필요한지 테스트하는 것.
• 문단을 완전히 忽略하고 질문과 답변 후보만을 사용하는 컨텍스트 없는 기준 모델을 훈련하고 평가하여 허수 상관관계를 탐지하는 것.
• 다단계 추론의 형식이 스판 기반인지 다중선택형인지에 따라 성능을 비교하여 지도 학습 방식이 모델 행동에 미치는 영향을 분석하는 것.
• 스파니쉬 기반 모델(BiDAF++)을 다중선택형 설정에 적응시키기 위해 스판 예측 결과를 후보 매핑을 통해 필터링하여, 스판 지도 학습이 추론의 견고성을 높이는지 테스트하는 것.
• 다중선택지의 수를 늘려가며 분석 실험을 수행하여, 허수 상관관계가 약해질 경우 모델 성능이 떨어지는지 확인하는 아블레이션 연구를 수행하는 것.
• 문장-요소 모델을 활용한 적대적 평가를 통해 다단계 추론이 필요하지 않은 예제를 식별하고, 데이터셋 설계를 위한 진단 도구로 활용하는 것.

실험 결과

연구 질문

• RQ1 문장 수준에서 독립적인 예측을 기반으로, 웹하포와 핫포타QA의 모델이 다단계 추론을 수행하지 않고도 얼마나 많은 예제를 해결할 수 있는가?
• RQ2 이들 데이터셋의 다중선택형 버전에서 질문과 답변 후보 사이에 허수 상관관계가 얼마나 강한가?
• RQ3 스파니쉬 기반 지도 학습은 다중선택형 지도 학습에 비해 더 나은 일반화 성능를 보이며 표면적 신호에 의존하는 정도를 줄이는가?
• RQ4 스파니쉬 기반 데이터로 훈련된 모델이 동일한 설정에서 다중선택형 데이터로 직접 훈련된 모델보다 성능이 뛰어나게 되는가?
• RQ5 다중선택형 데이터셋에서 훈련된 모델이 실제로 다단계 추론을 학습하는가, 아니면 질문-후보 상관관계를 악용하기만 하는가?

주요 결과

• 웹하포의 60퍼센트 이상, 핫포타QA의 45퍼센트 이상의 예제가 각 문장을 독립적으로 처리하는 문장-요소 모델을 통해 해결 가능하며, 이는 많은 예제에서 다단계 추론이 필수적이지 않음을 시사한다.
• 질문과 답변 후보만을 사용하는 컨텍스트 없는 기준 모델이 웹하포에서 60.9%의 정확도, 핫포타QA에서 45.4%의 정확도를 기록하여 데이터 내에서 강력한 허수 상관관계가 존재함을 입증한다.
• 두 데이터셋의 다중선택형 버전은 질문-후보 상관관계를 통한 ' cheating'에 취약하며, 컨텍스트 없는 기준 모델의 성능이 복잡한 모델과 거의 유사하게 유지된다.
• 스파니쉬 기반 지도 학습은 다중선택형 지도 학습보다 더 견고하며, 스판 기반 데이터로 훈련된 모델(BiDAF++-Span2MC 등)이 다중선택형 데이터로 직접 훈련된 모델보다 성능이 뛰어나다.
• 다중선택지의 수를 늘려도 컨텍스트 없는 기준 모델의 성능가 복잡한 모델과 유사하게 유지되며, 이는 모델이 여전히 진정된 다단계 추론을 학습하지 못하고 있음을 시사한다.
• 문장-요소 BiDAF 모델이 일부 설정에서 최고의 스판 기반 모델조차도 앞서는 것으로 나타나, 많은 모델이 진정된 다단계 추론이 아닌 강력한 단일 문장 추론에 의존하고 있을 가능성이 있음을 시사한다.