[논문 리뷰] Multi-Step Reasoning Over Unstructured Text with Beam Dense Retrieval

Chen Zhao, Chenyan Xiong외 2명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 29인용 수 6

한 줄 요약

BeamDR는 구조화되지 않은 텍스트에서 다단계 증거 체인을 찾기 위해 질문과 검색 이력에서 반복적으로 쿼리를 조합하는 기반으로 된 백트래킹 기반의 밀도 검색 방법을 제안한다. 이는 구조화된 링크나 지식 그래프에 의존하지 않으며, HotPotQA에서 경쟁적인 성능을 달성함으로써 암묵적인 추론 관계를 모델링하는 밀도 표현의 효과성을 입증한다.

ABSTRACT

Complex question answering often requires finding a reasoning chain that consists of multiple evidence pieces. Current approaches incorporate the strengths of structured knowledge and unstructured text, assuming text corpora is semi-structured. Building on dense retrieval methods, we propose a new multi-step retrieval approach (BeamDR) that iteratively forms an evidence chain through beam search in dense representations. When evaluated on multi-hop question answering, BeamDR is competitive to state-of-the-art systems, without using any semi-structured information. Through query composition in dense space, BeamDR captures the implicit relationships between evidence in the reasoning chain. The code is available at https://github.com/ henryzhao5852/BeamDR.

연구 동기 및 목표

• 기존의 정보 검색 시스템이 단일 단계 검색에 국한되어 있는 구조화되지 않은 텍스트 코퍼스에서 다단계 증거 체인을 찾는 데 도전하는 것.
• 구조화된 링크나 지식 그래프에 의존하지 않고 증거 조각 간의 암묵적인 의미적 관계를 모델링하는 밀도 검색 방법을 개발하는 것.
• 검색 이력을 사용해 쿼리 표현을 반복적으로 개선하고 훈련 중에 부정적 체인을 갱신함으로써 검색 성능을 향상시키는 것.
• 표준 벤치마크(HotPotQA)에서 이 방법을 평가하고, 위키백과의 구조화된 링크를 사용하는 최신 기술 시스템과 비교하는 것.

제안 방법

• BeamDR는 신경 인코더를 통해 계산된 쿼리와 문장의 밀도 벡터 표현을 사용하여 임베딩 공간에서 내적 곱 유사도를 통해 관련성 점수를 계산한다.
• 최상위-k 체인을 각 단계에서 유지하면서 후보 증거 체인에 대해 백트래킹을 수행한다. 이때 새로운 쿼리는 원본 질문과 이전에 검색된 문장을 연결하여 구성한다.
• 각 단계에서 밀도 임베딩 공간에서 최대 내적 곱 검색(MIPS)을 사용해 가장 관련성이 높은 문장을 검색한다.
• 증거 체인 점수는 모든 단계에서 정규화된 관련성 점수의 곱으로 계산되어 체인의 종단 간 최적화를 가능하게 한다.
• 훈련 중에 부정적 증거 체인은 갱신되고, 대조 학습 목표를 통해 긍정적 체인과 구분되어 일반화 능력이 향상된다.
• 이 방법은 구조화된 데이터에 의존하지 않고 전적으로 밀도 벡터 공간에서 작동한다.

실험 결과

연구 질문

• RQ1 반복적인 쿼리 조합을 통한 밀도 검색가 구조화되지 않은 텍스트에서 다단계 추론 체인을 효과적으로 복원할 수 있는가?
• RQ2 밀도 공간에서의 백트래킹은 그래프 기반 또는 링크 의존적 검색 방법과 비교해 추론 체인 정확도 측면에서 어떻게 다른가?
• RQ3 명시적인 구조적 링크 없이 밀도 표현이 증거 조각 간의 암묵적인 의미적 관계를 어느 정도 모델링할 수 있는가?
• RQ4 완전히 종단 간 밀도 검색 시스템이 위키백과의 구조화된 링크를 사용하는 최신 기술 시스템과 동등한 성능을 낼 수 있는가?

주요 결과

• BeamDR는 구조화된 정보를 전혀 사용하지 않음에도 불구하고, 위키백과 링크를 사용하는 최신 기술 캐스케이드 재정렬 시스템과 동등한 성능을 보이며 HotPotQA 벤치마크에서 경쟁적인 결과를 달성했다.
• 이름이 포함된 질문에서 어휘적 겹침이 적은 경우, BeamDR는 어휘 기반 검색(TF-IDF 등)보다 유의미하게 뛰어난 성능을 보였으며, grr 대비 엔티티 관련 오류를 62% 감소시켰다.
• grr가 이름의 모호성으로 인해 잘못된 농구 선수를 검색한 반면, BeamDR는 사례 연구에서 정확한 축구 선수(크리스 윌리엄스, 잉글랜드 축구 선수)를 정확히 검색했다.
• BeamDR는 두 번째 단계 검색에서 역링크 의존도를 줄였으며, 오류의 39%만이 링크 부족에서 기인한 반면, grr는 16%에 그쳤다.
• 수동 분석 결과 BeamDR의 주요 약점은 어휘 매칭을 통한 모호성 해소 실패이지만, 어휘적 겹침이 낮은 복잡한 케이스에서조차도 희박 기반 기반 시스템을 능가했다.