[논문 리뷰] Low-Resource Dense Retrieval for Open-Domain Question Answering: A Comprehensive Survey

Xiaoyu Shen, Svitlana Vakulenko외 4명|arXiv (Cornell University)|2022. 08. 05.

Topic Modeling인용 수 6

한 줄 요약

이 종합 검토는 개방 도메인 질의응답을 위한 저자원 밀도 검색 기법에 대해 자원 기반의 체계적 분류 체계를 제공한다. 기법들은 도메인 내 자원이 필요한 정도에 따라 분류되며, 문서만 필요한 경우, 문서와 질문이 필요한 경우, 또는 문서와 질문-답변 쌍이 필요한 경우로 나뉜다. 고비용의 레이블링에 의존도를 줄이는 자기지도 학습, 원거리 지도 학습, 다중 작업 접근법을 검토하며, 가용 자원에 따라 기법을 선택할 수 있도록 실용적인 가이드를 제공하고, 모델 일반화 및 다국어 전이와 관련된 열린 과제를 부각시킨다.

ABSTRACT

Dense retrieval (DR) approaches based on powerful pre-trained language models (PLMs) achieved significant advances and have become a key component for modern open-domain question-answering systems. However, they require large amounts of manual annotations to perform competitively, which is infeasible to scale. To address this, a growing body of research works have recently focused on improving DR performance under low-resource scenarios. These works differ in what resources they require for training and employ a diverse set of techniques. Understanding such differences is crucial for choosing the right technique under a specific low-resource scenario. To facilitate this understanding, we provide a thorough structured overview of mainstream techniques for low-resource DR. Based on their required resources, we divide the techniques into three main categories: (1) only documents are needed; (2) documents and questions are needed; and (3) documents and question-answer pairs are needed. For every technique, we introduce its general-form algorithm, highlight the open issues and pros and cons. Promising directions are outlined for future research.

연구 동기 및 목표

• 레이블링된 질문-문서 쌍이 부족하거나 가용하지 않은 저자원 환경에서 효과적인 밀도 검색기 학습의 과제를 해결한다.
• 필요로 하는 도메인 내 자원에 따라 기존의 저자원 밀도 검색 기법을 체계적으로 분류한다: 문서만, 문서와 질문, 또는 문서와 질문-답변 쌍.
• 가용한 데이터 자원에 따라 적절한 기법을 선택할 수 있도록 실용적이고 자원 인식 기반의 가이드를 제공한다.
• 저자원 밀도 검색에서 모델 일반화, 다도메인 성능, 다국어 전이와 관련된 열린 문제를 부각시킨다.
• 기법 통합, 체계적 선택 기준, 파rameter 효율적 미세조정과 같은 유망한 향후 연구 방향을 식별한다.

제안 방법

• 필요로 하는 도메인 내 자원에 따라 저자원 밀도 검색 기법을 세 가지 주요 그룹으로 분류한다: (1) 문서만, (2) 문서와 질문, (3) 문서와 QA 쌍.
• 문서 코퍼스만을 사용하여 표현 학습을 향상시키는 자기지도 학습 기법들, 예를 들어 노이즈 제거 오토에코딩과 자기 대비 학습을 검토한다.
• 원거리 지도 학습 및 질문 생성 기반 기법들을 검토한다. 이러한 기법들은 문서와/또는 질문에서 가짜 질문-문서 쌍을 생성하여 완전한 레이블링 없이도 검색기를 훈련시킨다.
• 답변-문서 매핑과 잠재 변수 모델을 사용하는 방법들을 분석한다. 이러한 방법들은 약한 지도 학습을 통해 검색기와 독해기 모듈을 동시에 훈련시켜 강력한 레이블링에 대한 의존도를 줄인다.
• 밀도 검색과 희소 검색의 통합, 다중 작업 학습, 파rameter 효율적 미세조정(예: 어댑터, 프롬프트 튜닝 등)과 같은 통합 전략을 조사한다. 이는 제한된 데이터에서 일반화 성능을 향상시킨다.
• 외부 도메인(OOD) 레이블링이 제로샷 또는 소수 샘플 성능 향상에 어떤 역할을 하는지 평가한다. 특히 도메인 불변 학습 및 다중 작업 설정에서의 기여를 중심으로 분석한다.

실험 결과

연구 질문

• RQ1 문서만 가용한 상황에서 어떤 저자원 밀도 검색 기법이 가장 효과적인가? 성능 및 내성적 안정성 측면에서 어떻게 비교되는가?
• RQ2 문서와 질문에서 가짜 질문-문서 쌍을 효과적으로 생성하는 방법은 무엇이며, 완전한 레이블링 없이도 검색 성능을 어떻게 향상시킬 수 있는가?
• RQ3 질문-답변 쌍을 사용하는 기법이 문서만 또는 질문-질문 쌍에 의존하는 기법보다 저자원 환경에서 얼마나 뛰어난 성능을 보이는가?
• RQ4 밀도 검색과 희소 검색의 통합 또는 다중 작업 학습과 같은 통합 전략이 저자원 환경에서 성능을 어떻게 향상시키는가?
• RQ5 도메인 및 언어 간 일반화에 있어 저자원 밀도 검색 모델의 주요 한계와 열린 과제는 무엇인가?

주요 결과

• 질문이나 레이블 데이터 없이도 문서만을 기반으로 하는 기법들, 예를 들어 자기 대비 학습이나 노이즈 제거 오토에코딩은 레이블 없이도 경쟁 가능한 성능을 달성할 수 있다.
• 질문 생성 및 원거리 지도 학습 기법들은 문서와 질문에서 가짜 쌍을 생성함으로써, 제한된 지도 학습 조건에서도 검색 성능을 크게 향상시킬 수 있다.
• 잠재 변수 모델 또는 답변-문서 매핑을 통한 공동 훈련은 약한 지도 학습을 통해 검색기와 독해기 모듈을 종합적으로 학습시켜 강력한 레이블링에 대한 의존도를 줄인다.
• 희소 검색(BM25 등)과의 통합 및 다중 작업 학습은 제로샷 및 소수 샘플 성능을 일관되게 향상시키며, 밀도 검색과 희소 검색 간의 상호보완적 강점을 입증한다.
• 프롬프트 튜닝이나 어댑터와 같은 파rameter 효율적 미세조정 기법들은 업데이트되는 파라미터 비율이 0.1%에 불과함에도 불구하고, 저자원 환경에서 전체 미세조정보다 뛰어난 일반화 성능을 보인다.
• 다양한 성과에도 불구하고 대부분의 기법들이 비영어 언어에서 충분히 테스트되지 않았으며, 언어 특화 히ュ리스틱이나 데이터 부족에 의존함으로써 여전히 성능 격차가 존재한다.