[논문 리뷰] Can Open-Domain QA Reader Utilize External Knowledge Efficiently like Humans?

Neeraj Varshney, Man Luo외 1명|arXiv (Cornell University)|2022. 11. 23.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 개방형 질의응답을 위한 동적이고 인간 중심의 지식 읽기 전략을 제안하며, 고정된 큰 수의 검색된 문단에 의존하는 기존의 접근 방식과는 달리, 닫힌 책 추론과 반복적이고 신뢰도 기반의 외부 지식 검색을 융합한다. 필요한 경우에만 점차 증가시키는 방식으로 필수적인 문단만 적응적으로 읽는 방법으로, NQ Open에서 최대 55.10%의 정확도를 달성하며 기존 최고 성능 모델인 Fusion-in-Decoder 대비 추론 비용을 81.68% 감소시켰다.

ABSTRACT

Recent state-of-the-art open-domain QA models are typically based on a two stage retriever-reader approach in which the retriever first finds the relevant knowledge/passages and the reader then leverages that to predict the answer. Prior work has shown that the performance of the reader usually tends to improve with the increase in the number of these passages. Thus, state-of-the-art models use a large number of passages (e.g. 100) for inference. While the reader in this approach achieves high prediction performance, its inference is computationally very expensive. We humans, on the other hand, use a more efficient strategy while answering: firstly, if we can confidently answer the question using our already acquired knowledge then we do not even use the external knowledge, and in the case when we do require external knowledge, we don't read the entire knowledge at once, instead, we only read that much knowledge that is sufficient to find the answer. Motivated by this procedure, we ask a research question "Can the open-domain QA reader utilize external knowledge efficiently like humans without sacrificing the prediction performance?" Driven by this question, we explore an approach that utilizes both 'closed-book' (leveraging knowledge already present in the model parameters) and 'open-book' inference (leveraging external knowledge). Furthermore, instead of using a large fixed number of passages for open-book inference, we dynamically read the external knowledge in multiple 'knowledge iterations'. Through comprehensive experiments on NQ and TriviaQA datasets, we demonstrate that this dynamic reading approach improves both the 'inference efficiency' and the 'prediction accuracy' of the reader. Comparing with the FiD reader, this approach matches its accuracy by utilizing just 18.32% of its reader inference cost and also outperforms it by achieving up to 55.10% accuracy on NQ Open.

연구 동기 및 목표

• 고정된 큰 수의 검색된 문단에 의존하는 최신 개방형 QA 독해 모델의 높은 추론 비용 문제를 해결한다.
• 필요한 지식만 동적으로 읽는 방식으로, 계산 비용을 크게 줄이면서도 높은 예측 정확도를 달성할 수 있는지 탐구한다.
• 반복적인 지식 확보를 포함한 하이브리드 닫힌 책/열린 책 추론 전략이 효율성과 정확도 향상에 기여하는지 탐색한다.
• 질의응답에서 인간과 유사한 추론 방식을 모델링한다: 먼저 내부 지식으로 답변을 시도하고, 신뢰도가 낮을 경우에만 점차적으로 외부 지식에 접근한다.

제안 방법

• 모델 파rameter에 내장된 지식만을 기반으로 답변을 예측하는 닫힌 책 독해 모델(예: T5-large)을 사용해 처음으로 답변을 예측한다.
• 예측 신뢰도가 임계값 이하일 경우, 외부 지식 검색기와 함께 열린 책 추론을 시작한다.
• 반복적 지식 읽기 적용: 처음에는 소수의 문단(예: S₁=10)으로 시작하고, 신뢰도가 여전히 낮을 경우에만 문단 수를 증가시킴(S₂=20, S₃=100).
• 신뢰도 점수를 정지 기준으로 사용하여 과도한 문단에 대한 의존을 방지한다.
• 다양한 지식 반복 단계의 예측을 병합하기 위해 캐스케ading 시스템을 활용하며, 신뢰도 기반으로 최적의 출력을 선택한다.
• 효율성은 FLOPs로 측정하고, NQ와 TriviaQA에서 성능 평가 시 정확도 일치율(EM)과 AUC 지표를 사용한다.

실험 결과

연구 질문

• RQ1 표준 방법보다 훨씬 적은 외부 문단을 사용하면서도 독해 모델이 높은 예측 정확도를 달성할 수 있는가?
• RQ2 고정된 큰 규모의 검색 방식과 비교해, 다중 반복 단계에서 지식을 동적으로 읽는 방식이 효율성과 정확도 향상에 기여하는가?
• RQ3 하이브리드 닫힌 책/열린 책 추론 전략이 답변 품질을 훼손하지 않으면서도 계산 비용을 줄일 수 있는가?
• RQ4 동일한 총 문단 수를 사용할 때, 단일 큰 검색 단계 대비 다중 지식 반복 단계(K=2 또는 K=3)가 측정 가능한 이점을 제공하는가?
• RQ5 이 방법이 Fusion-in-Decoder(FiD)와 같은 최신 모델의 성능을 따라하거나 초월할 수 있을 정도로 낮은 FLOPs로 작동할 수 있는가?

주요 결과

• 제안된 방법은 NQ Open 벤치마크에서 최대 55.10%의 정확도를 달성하며, FiD, RAG, DPR를 포함한 모든 비교 기준 모델을 능가한다.
• FiD(base) 모델의 정확도(20.19×10¹¹ FLOPs)를 동일하게 유지할 경우, 제안된 시스템은 추론 비용을 3.69×10¹¹ FLOPs로 줄여 81.68% 감소시켰다.
• FiD(large) 모델(70.69×10¹¹ FLOPs)의 정확도를 동일하게 달성하면서도, 제안된 방법은 20.59×10¹¹ FLOPs로 비용을 71.1% 감소시켰다.
• 두 번의 지식 반복(K=2)을 포함한 캐스케ading 시스템은 동일한 총 문단 수를 사용한 단일 단계 검색 대비 더 높은 AUC(46.25)를 기록했으며, 반복적 읽기의 유용성을 입증했다.
• TriviaQA에서 시스템은 72.33%의 정확도를 달성했으며, 기존 방법을 모두 능가하면서도 높은 효율성을 유지했다.
• 동일한 FLOP 비용에서 기존 열린 책 모델보다 정확도가 향상된다: 예를 들어 0.2×10¹¹ FLOPs에서 48.98%의 정확도를 기록했고, OB₁은 46.78%였다.