[논문 리뷰] Revealing the Importance of Semantic Retrieval for Machine Reading at Scale

Yixin Nie, Songhe Wang외 1명|arXiv (Cornell University)|2019. 09. 17.

Topic Modeling참고 문헌 22인용 수 7

한 줄 요약

이 논문은 기계적 독해 확장(MRS)를 위한 계층적 의미적 검색 파이프라인을 제안하며, 문단 및 문장 수준의 신경 기반 검색을 통합하여 후속 사실 검증 및 다단계 QA 성능을 햖थ다. FEVER(67.26% FEVER 점수)와 HotpotQA(45.32% 답변 EM, 25.14% 공동 EM)에서 최고 성능을 기록하여 의미적 검색이 고품질 데이터를 형성하고 후속 성능을 향상시키는 데 핵심적임을 입증한다.

ABSTRACT

Machine Reading at Scale (MRS) is a challenging task in which a system is given an input query and is asked to produce a precise output by "reading" information from a large knowledge base. The task has gained popularity with its natural combination of information retrieval (IR) and machine comprehension (MC). Advancements in representation learning have led to separated progress in both IR and MC; however, very few studies have examined the relationship and combined design of retrieval and comprehension at different levels of granularity, for development of MRS systems. In this work, we give general guidelines on system design for MRS by proposing a simple yet effective pipeline system with special consideration on hierarchical semantic retrieval at both paragraph and sentence level, and their potential effects on the downstream task. The system is evaluated on both fact verification and open-domain multihop QA, achieving state-of-the-art results on the leaderboard test sets of both FEVER and HOTPOTQA. To further demonstrate the importance of semantic retrieval, we present ablation and analysis studies to quantify the contribution of neural retrieval modules at both paragraph-level and sentence-level, and illustrate that intermediate semantic retrieval modules are vital for not only effectively filtering upstream information and thus saving downstream computation, but also for shaping upstream data distribution and providing better data for downstream modeling. Code/data made publicly available at: https://github.com/easonnie/semanticRetrievalMRS

연구 동기 및 목표

• 기계적 독해 확장(MRS) 시스템에서 다양한 정밀도 수준의 의미적 검색의 역할을 조사하기 위해.
• 검색이 커버리지보다 정밀도를 최적화하도록 설계되지 않은 MRS 시스템 설계의 부적합성 문제를 해결하기 위해.
• 효율적인 MRS를 위해 문단 수준과 문장 수준의 검색 모듈이 모두 필요하다는 경험적 증거를 제공하기 위해.
• 중간 단계의 의미적 검색이 후속 이해 모듈이 볼 수 있는 데이터 분포를 어떻게 형성하는지 설명하기 위해.
• 검색 모듈과 이해 모듈 간의 상호작용을 분석하여 MRS 시스템의 일반적 설계 지침을 제공하기 위해.

제안 방법

• 시스템은 용어 기반 검색을 거쳐, 밀도적 의미 표현을 사용하는 신경 기반 문단 수준 및 문장 수준의 검색 모듈을 포함하는 계층적 파이프라인을 구현한다.
• 문단 수준의 검색은 조밀한 의미 표현을 사용하여 후속 노이즈를 줄이기 위해 후보 문단을 필터링한다.
• 문장 수준의 검색은 문맥적 문장 임베딩을 사용하여 증거 선택을 더욱 정밀하게 하여 후속 작업의 정확도를 향상시킨다.
• 후속 신경 모듈은 검색된 증거를 사용하여 답변 예측 또는 검증을 수행하며, 엔드 투 엔드로 훈련된다.
• 두 수준의 검색 임계값은 정밀도와 재현율의 균형을 맞추기 위해 튜닝되며, 영향을 평가하기 위해 추론 실험을 실시한다.
• 프레임워크는 FEVER 및 HotpotQA에서 평가되며, 중간 증거 주석을 통해 정확한 검색 평가가 가능하다.

실험 결과

연구 질문

• RQ1 문단 수준의 의미적 검색은 MRS 시스템의 후속 성능에 어떤 영향을 미치는가?
• RQ2 문장 수준의 의미적 검색은 다단계 QA 및 사실 검증에서 답변 정확도와 증거 선택에 어떤 영향을 미치는가?
• RQ3 중간 단계의 검색이 후속 이해 모듈이 볼 수 있는 데이터 분포에 얼마나 큰 영향을 미치는가?
• RQ4 왜 답변 예측 성능은 증거 검색 성능과 다른 검색 임계값에서 최고 성능를 보이는가?
• RQ5 검색 모듈과 이해 모듈을 함께 최적화하면 전체 MRS 성능이 향상되는가?

주요 결과

• HotpotQA에서 45.32%의 답변 EM과 25.14%의 공동 EM으로 최고 성능을 기록하여 이전 결과 대비 답변 EM에서 8%p 상승하고 공동 EM은 두 배로 증가했다.
• FEVER에서는 67.26%의 FEVER 점수를 기록하여 이전에 발표된 시스템 대비 3%p 상승했다.
• 문단 수준의 검색은 필수적이다: 이를 제거하면 특히 혼란스러운 사실을 걸러내는 데서 성능이 크게 떨어진다.
• 문장 수준의 검색 역시 필수적이다. 문단 수준 검색이 존재하더라도 문장 수준 검색이 없을 경우 성능 저하가 발생한다.
• 후속 QA 모듈은 문장 수준에서 더 높은 재현율을 얻을 수록 유리하며, 답변 EM은 $ h_s = 0.2 $에서 최고 성능를 보이고, 증거 F1은 $ h_s = 0.5 $에서 최고 성능를 보여, 검색과 이해 간의 성능 불일치를 시사한다.
• 검증 모듈은 QA 모듈보다 문장 수준의 검색 품질에 더 민감하다. FEVER 점수와 레이블 정확도가 $ h_s = 0.2 $에서 최고 성능를 보여 이에 따라 증명된다.