[논문 리뷰] Is Retriever Merely an Approximator of Reader?

Sohee Yang, Minjoon Seo|arXiv (Cornell University)|2020. 10. 21.

Topic Modeling참고 문헌 28인용 수 26

한 줄 요약

이 논문은 개방형 질의응답에서 검색기(retriever)가 독자(reader)의 근사적이고 비효율적인 버전이라는 가정을 도전한다. 지식 정제 기반으로 독자 지식을 검색기로 이관하는 방법을 제안하여 검색기의 재현율과 종단 간 QA 정확도를 크게 향상시키며, 특히 상위 1개 결과에서 성능 향상을 이끌어내지만 효율성은 유지한다.

ABSTRACT

The state of the art in open-domain question answering (QA) relies on an efficient retriever that drastically reduces the search space for the expensive reader. A rather overlooked question in the community is the relationship between the retriever and the reader, and in particular, if the whole purpose of the retriever is just a fast approximation for the reader. Our empirical evidence indicates that the answer is no, and that the reader and the retriever are complementary to each other even in terms of accuracy only. We make a careful conjecture that the architectural constraint of the retriever, which has been originally intended for enabling approximate search, seems to also make the model more robust in large-scale search. We then propose to distill the reader into the retriever so that the retriever absorbs the strength of the reader while keeping its own benefit. Experimental results show that our method can enhance the document recall rate as well as the end-to-end QA accuracy of off-the-shelf retrievers in open-domain QA tasks.

연구 동기 및 목표

• 개방형 QA에서 검색기가 독자 모델의 근사적 버전인지, 아니면 모델 정확도에 독자적인 기여를 하는지 조사한다.
• 이중터널 검색기 모델이 효율성을 위해 정확도를 희생한다는 일반적인 가정을 도전하며, 일터널 독자 모델과의 상호보완적 역할을 실증적으로 평가한다.
• 독자 모델의 지식을 검색기로 이관하는 정제 방법을 제안하여 성능 향상을 이끌지만, 속도와 확장성은 유지한다.
• 향상된 검색 품질이 종단 간 QA 정확도에 직접적인 기여를 한다는 점을 입증하며, 특히 상위 1개 결과에서의 성능 향상에 초점을 맞춘다.

제안 방법

• 일터널 독자 모델에서의 지식을 이행하는 지식 정제 프레임워크를 제안한다.
• 온도 기반 소프트 레이블 정제 전략을 사용하여, 검색기가 후보 문서에 대한 독자의 신뢰도 점수를 모방하도록 훈련시킨다.
• 실증적으로 최고의 검색 성능을 얻기 위해 훈련 중 검색기의 정제 과정에서 온도 T=3을 적용한다.
• 훈련된 검색기를 기반으로 독자 모델을 재훈련하여 훈련과 추론 간 입력 분포의 격차를 줄인다.
• 효율적인 추론을 위해 근사 최근접 이웃(ANN) 검색을 적용하여 이중터널 아키텍처의 속도 우수성을 유지한다.
• 검색 성능 평가에 recall@k 지표를, NaturalQuestions와 TriviaQA에서 종단 간 QA 정확도 평가에 정확일치(EM) 지표를 사용한다.

실험 결과

연구 질문

• RQ1 검색기는 진정으로 독자 모델의 근사적이고 효율성 중심의 버전인지, 아니면 개방형 QA에서 정확도에 독자적인 기여를 하는가?
• RQ2 초기 속도를 위해 설계된 이중터널 검색기의 아키텍처 제약이 대규모 검색에서의 강건성 향상에도 기여할 수 있는가?
• RQ3 독자 모델의 지식을 정제하여 표준 검색기 성능을 향상시킬 수 있는 정도는 어느 정도이며, 이 과정에서 효율성은 손상되지 않는가?
• RQ4 향상된 검색 재현율이 종단 간 QA 정확도로 직접 이어지는가, 특히 상위 1개 결과 검색에서 성능 향상이 나타나는가?
• RQ5 향상된 검색기를 기반으로 독자 모델을 재훈련할 경우 전체 QA 성능에 어떤 영향을 미치며, 입력 분포의 변화는 어떤 영향을 미치는가?

주요 결과

• 검색기는 단순히 독자의 근사 모델이 아니며, 부정 예제에 대한 강건성 향상으로 인해 상호보완적인 정확도 기여를 한다.
• DPR-Single를 사용할 경우, 독자 지식을 정제하여 검색기로 이관함으로써 NaturalQuestions에서 상위 1개 재현율이 1.8%p 향상되어 52.4%에서 54.2%로 상승한다.
• DPR-Single를 사용할 경우, 종단 간 QA 정확도(EM)가 상위 1개에서 5.0점 향상되어 32.3%에서 37.3%로 상승한다.
• RAG-Token을 사용할 경우, TriviaQA에서 4.6점의 EM 향상(44.5%에서 49.1%로)을 기록한다.
• 독자 모델 재훈련 없이 사용할 경우, 분포 이격으로 인해 성능 저하가 발생함을 확인하여, 검색기와 독자 모델 간의 일치가 핵심임을 입증한다.
• 제거 실험 결과, 정제 과정이 필수적임을 확인하였으며, 이를 생략할 경우 상위 1개에서 특히 재현율 저하가 뚜렷하게 나타난다.