[논문 리뷰] Do Multi-hop Readers Dream of Reasoning Chains?

Haoyu Wang, Mo Yu외 4명|arXiv (Cornell University)|2019. 10. 31.

Topic Modeling참고 문헌 14인용 수 8

한 줄 요약

이 논문은 다중 스텝 질문 답변 모델이 명시적인 추론 체인—질문에 대한 지원이 되는 문단들의 순서 있는 시퀀스—을 효과적으로 활용할 수 있는지 조사한다. 단일 문단 대비 전체 추론 체인 설정에서의 성능을 비교함으로써 이를 평가한다. 기존 모델에서는 성능 향상이 제한적이었으며, 최대 1.29%의 F1 향상에 그쳤지만, 저자는 공일치(co-matching) 방법을 제안하여 오류 감소율을 13.1%로 끌어올렸다. 이는 보다 나은 추론 아키텍처가 다중 스텝 QA에서 추론 체인의 잠재력을 극대화할 수 있음을 보여준다.

ABSTRACT

General Question Answering (QA) systems over texts require the multi-hop reasoning capability, i.e. the ability to reason with information collected from multiple passages to derive the answer. In this paper we conduct a systematic analysis to assess such an ability of various existing models proposed for multi-hop QA tasks. Specifically, our analysis investigates that whether providing the full reasoning chain of multiple passages, instead of just one final passage where the answer appears, could improve the performance of the existing QA models. Surprisingly, when using the additional evidence passages, the improvements of all the existing multi-hop reading approaches are rather limited, with the highest error reduction of 5.8% on F1 (corresponding to 1.3% absolute improvement) from the BERT model. To better understand whether the reasoning chains could indeed help find correct answers, we further develop a co-matching-based method that leads to 13.1% error reduction with passage chains when applied to two of our base readers (including BERT). Our results demonstrate the existence of the potential improvement using explicit multi-hop reasoning and the necessity to develop models with better reasoning abilities.

연구 동기 및 목표

• 기존의 다중 스텝 QA 모델이 다수의 지원 문단들로 구성된 명시적 추론 체인을 효과적으로 활용할 수 있는지 평가하는 것.
• 완전한 추론 경로가 제공될 경우 다중 스텝 질문 답변에서 성능 향상이 측정 가능한지 여부를 조사하는 것.
• 질문, 문맥, 답변 문단 간의 관계를 명시적으로 모델링하여 모델의 추론 능력을 향상시키는 새로운 방법을 개발하는 것.
• 실제 추론 체인을 포함한 벤치마크 데이터셋을 구축하여 QA 모델의 추론 능력을 체계적으로 평가할 수 있도록 하는 것.
• 모델의 능력과 추론 체인의 잠재력 사이의 격차를 드러내고, 진정한 다중 스텝 추론을 위해 더 나은 모델 설계가 필요하다는 점을 강조하는 것.

제안 방법

• 핫포트QA 데이터셋을 활용하여 각 질문당 두 개의 지원 문단으로 구성된 인간이 애너테이션한 추론 체인을 포함하는 새로운 평가 설정을 구축한다.
• 두 가지 학습/평가 설정을 설계한다: (1) 싱글오라클(답변를 포함한 문단만 제공) 및 (2) 오더드오라클(정확한 순서로 정렬된 전체 추론 체인 제공).
• 질문, 문맥 문단, 답변 문단을 동시에 인코딩하여 상호작용을 모델링하는 공일치(co-matching) 메커니즘을 제안한다.
• BERT와 핫포트리더(HotpotReader)에 모두 공일치 모듈을 통합하여 문단 체인을 통한 추론 능력을 향상시킨다.
• 이중 분류 헤드를 활용하여 순서가 뒤섞인 체인에서 문단의 순서를 예측함으로써 모델이 추론 흐름을 어떻게 유추하는지 평가한다.
• 재현 가능성과 향후 벤치마크를 위해 코드와 데이터를 https://github.com/helloeve/bert-co-matching 에 공개한다.

실험 결과

연구 질문

• RQ1 기존의 다중 스텝 QA 모델이 답변을 포함한 단일 문단 외에 전체 추론 체인을 제공받을 경우 성능 향상이 뚜렷하게 이루어지는가?
• RQ2 정확한 순서가 제공된 경우에도 모델가 추론 체인의 구조를 충분히 활용할 수 있는 인도크티브 바이어스를 갖추고 있는가?
• RQ3 추론 체인을 효과적으로 활용하여 다중 스텝 QA에서 상당한 성능 향상을 이끌 수 있는 모델 아키텍처가 존재하는가?
• RQ4 기존 데이터셋의 데이터 편향이 모델의 진정한 추론 능력을 가로막는 정도는 어느 정도이며, 진정한 추론 능력을 반영할 수 있도록 평가 방식을 어떻게 개선할 수 있는가?

주요 결과

• BERT를 포함한 기존의 다중 스텝 QA 모델들은 전체 추론 체인을 제공받아도 성능 향상이 미미하며, BERT 모델에서 가장 높은 F1 향상률은 단지 1.29% (1.3% 절대값)에 그친다.
• BERT 모델은 순서가 뒤섞인 체인에서 어느 문단이 문맥이고 어느 것이 답변인지 식별하는 이중 분류 작업에서 정확도가 87.43%에 불과하여 추론 체인의 순서 정렬 능력이 떨어진다.
• 제안된 공일치 방법은 BERT에 적용했을 때 오더드오라클 설정에서 13.1%의 오류 감소율을 달성하여, 적절히 모델링된 추론 체인이 매우 유용할 수 있음을 입증한다.
• 공일치 접근법은 핫포트리더와 BERT에 각각 싱글오라클 설정 대비 F1 점수를 3.88%와 2.91% 향상시켜 명시적 추론 모델링의 효과성을 확인한다.
• 기존 모델에서 성능 향상이 없는 것은 추론 체인에 정보가 부족하기 때문이 아니라, 추론에 대한 인도크티브 바이어스가 부족하기 때문임을 입증한다.
• 연구 결과는 추론 체인이 유용하며, 특히 낮은 편향 평가 환경에서 더 강력한 추론 능력을 갖춘 모델 설계를 통해 잠재력이 여전히 남아 있음을 확인한다.