[논문 리뷰] Graph-free Multi-hop Reading Comprehension: A Select-to-Guide Strategy

Bohong Wu, Zhuosheng Zhang외 1명|arXiv (Cornell University)|2021. 07. 25.

Topic Modeling참고 문헌 41인용 수 12

한 줄 요약

이 논문은 다단계 추론 읽기 이해를 위한 그래프 없는, 선택을 통해 안내하는(S2G) 프레임워크를 제안하며, 다단계 의존성을 명시적으로 모델링하고 작업에 특화된 어텐션 메커니즘을 도입함으로써 HotpotQA에서 기존의 모든 그래프 기반 모델을 능가한다. 이는 조악한 선택에서 정교한 선택으로의 순차적 선택 방식으로 이루어지는 계층적 검색 모듈과, 그래프 없이도 추론의 해석 가능성을 향상시키는 이중 어텐션 메커니즘을 통해 최첨단 성능을 달성한다.

ABSTRACT

Multi-hop reading comprehension (MHRC) requires not only to predict the correct answer span in the given passage, but also to provide a chain of supporting evidences for reasoning interpretability. It is natural to model such a process into graph structure by understanding multi-hop reasoning as jumping over entity nodes, which has made graph modelling dominant on this task. Recently, there have been dissenting voices about whether graph modelling is indispensable due to the inconvenience of the graph building, however existing state-of-the-art graph-free attempts suffer from huge performance gap compared to graph-based ones. This work presents a novel graph-free alternative which firstly outperform all graph models on MHRC. In detail, we exploit a select-to-guide (S2G) strategy to accurately retrieve evidence paragraphs in a coarse-to-fine manner, incorporated with two novel attention mechanisms, which surprisingly shows conforming to the nature of multi-hop reasoning. Our graph-free model achieves significant and consistent performance gain over strong baselines and the current new state-of-the-art on the MHRC benchmark, HotpotQA, among all the published works.

연구 동기 및 목표

• 다단계 추론 읽기 이해(MHRC)에서 그래프 기반 모델과 그래프 없는 모델 간의 성능 격차를 해소하는 것, 특히 HotpotQA 벤치마크에서의 성능 격차를 대상으로 한다.
• MHRC 분야에서 그래프 모델링의 지배적 지위를 도전하기 위해 더 효과적이고 유연하며 해석 가능한 그래프 없는 대안을 제안하는 것.
• 간단한 이진 분류가 아니라 다단계 의존성 인식을 고려한 랭킹 문제로 재구성된 증거 문단 검색을 통해 증거 문단 검색을 향상시키는 것.
• 사람의 독서 행동과 일치하는 작업에 특화된 어텐션 메커니즘을 통해 답변 추출 및 증거 추출을 향상시키는 것.
• 다단계 추론이 독자 모듈 뿐 아니라 검색 단계에서도 효과적으로 모델링될 수 있음을 보여주는 것.

제안 방법

• S2G 모델은 조악한 선택에서 정교한 선택으로의 단계별 방식으로 증거 문단을 선택하는 계층적 문단 검색 모듈을 사용하며, 문단 간의 다단계 의존성을 명시적으로 모델링한다.
• 문단 검색을 점별 분류에서 랭킹 점수 목적함수로 재구성함으로써 문단 간 상대적 중요성을 더 효과적으로 포착한다.
• 이전에 선택된 증거를 바탕으로 검색 점수를 반복적으로 개선하는 점수 보정 모듈을 도입하여 순차적 추론 의존성을 모델링한다.
• 답변 예측을 위해, 모델은 답변 스패닝 추출 과정에서 검색된 증거 문단에 집중하도록 유도하는 증거 안내 어텐션(EGA)을 사용한다.
• 증거 문장 추출을 위해, 문장 수준의 일관성을 유지하면서 토큰 표현을 집계하는 문장 인식 자기어텐션(SaSA)을 적용한다.
• 전체 프레임워크는 답변 스파닝과 지지 증거 추출 작업을 동시에 최적화하는 방식으로 HotpotQA에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 그래프 없는 접근 방식이 다단계 추론 읽기 이해에서 최첨단 그래프 기반 모델을 능가할 수 있는가?
• RQ2 다단계 추론을 독자 모듈 뿐 아니라 검색 단계에서도 효과적으로 모델링할 수 있는가?
• RQ3 랭킹 인식 검색과 점수 보정을 통합함으로써 다단계 QA에서 증거 문단 선택이 어떻게 향상되는가?
• RQ4 작업에 특화된 어텐션 메커니즘(SaSA 및 EGA)이 답변 및 증거 추출 하위 작업의 성능을 어느 정도 향상시키는가?
• RQ5 더 단순한, 그래프 기반 아키텍처를 갖춘 더 나은 검색 설계가 복잡한 그래프 기반 모델을 초월할 수 있는가?

주요 결과

• S2G 모델은 HotpotQA 벤치마크에서 최첨단 성능을 달성하며, 이전에 발표된 모든 그래프 기반 모델을 능가한다.
• 모델은 그래프 없는 모델과 그래프 기반 모델 간의 성능 격차를 크게 줄였으며, 지지 증거(Sup) 작업에서 상당한 향상을 보였다.
• 오류 분석 결과, 개발 세트 오류 중 7.4%만이 다단계 추론 실패로 인한 것으로 나타나, 추론 의존성을 잘 포착하고 있음을 시사한다.
• 다수의 오류(74.5%)는 답변 스팸 경계 문제(부족하거나 불필요한 부분 포함)에서 기인하며, 잘못된 증거 검색 때문이 아니다.
• 모델의 성능은 답변 스팸 및 증거 문단 추출 작업 모두에서 뛰어나게 유지되어 S2G 설계의 효과성을 입증한다.
• S2G 프레임워크의 성공은 그래프 모델링이 MHRC에 필수적이지 않다는 점을 시사하며, 분야에서 지배적인 가정에 도전한다.