[논문 리뷰] On the Robustness of Generative Retrieval Models: An Out-of-Distribution Perspective

Yuan Liu, Ruqing Zhang외 3명|arXiv (Cornell University)|2023. 06. 22.

Information Retrieval and Search Behavior인용 수 6

한 줄 요약

이 논문은 생성적 검색 모델의 분포 외(out-of-distribution, OOD)에 대한 내성에 대해 세 가지 OOD 시나리오를 정의함으로써 조사한다: 쿼리 변형, 예상치 못한 쿼리 유형, 그리고 예상치 못한 작업. KILT 벤치마크를 사용하여, BART 및 CorpusBrain를 포함한 생성적 검색 모델이 OOD 조건 하에서 성능이 크게 떨어지는 것으로 나타났으며, 특히 쿼리 변형과 예상치 못한 쿼리 유형에서 두드러진 성능 저하를 보이며, 표준 내분포 평가를 넘어서 실제 환경에서의 내성 향상이 절실한 필요성을 시사한다.

ABSTRACT

Recently, we have witnessed generative retrieval increasingly gaining attention in the information retrieval (IR) field, which retrieves documents by directly generating their identifiers. So far, much effort has been devoted to developing effective generative retrieval models. There has been less attention paid to the robustness perspective. When a new retrieval paradigm enters into the real-world application, it is also critical to measure the out-of-distribution (OOD) generalization, i.e., how would generative retrieval models generalize to new distributions. To answer this question, firstly, we define OOD robustness from three perspectives in retrieval problems: 1) The query variations; 2) The unforeseen query types; and 3) The unforeseen tasks. Based on this taxonomy, we conduct empirical studies to analyze the OOD robustness of several representative generative retrieval models against dense retrieval models. The empirical results indicate that the OOD robustness of generative retrieval models requires enhancement. We hope studying the OOD robustness of generative retrieval models would be advantageous to the IR community.

연구 동기 및 목표

• 생성적 검색 모델의 분포 외(OOD) 내성에 대한 체계적인 평가 부족 문제를 다루기 위해, 일반적으로 내분포 가정 하에서만 평가되는 경향이 있는 모델의 평가를 개선하고자 한다.
• 실제 환경에서 테스트 데이터 분포가 훈련과 다를 때 발생하는 검색 시스템 내의 핵심 OOD 일반화 과제를 식별하고 분류하고자 한다.
• 다양한 OOD 시나리오에서 생성적 검색 모델(BART, CorpusBrain 등)과 밀도 기반 검색 기반 모델 간의 OOD 일반화 성능을 경험적으로 비교하고자 한다.
• 현재 생성적 검색 모델이 분포 이동, 특히 쿼리 품질과 형식 변화에 대해 어떻게 한계를 보이는지 밝히고, 향후 내성 중심 연구를 촉진하고자 한다.
• 재현 가능한 평가 및 생성적 검색의 OOD 내성에 대한 향후 연구를 지원하기 위해 코드와 데이터를 공개하고자 한다.

제안 방법

• 검색 분야의 OOD 내성에 대한 삼각 분류 체계를 제안한다: (1) 쿼리 변형(예: 철자 오류, 단어 순서 변경), (2) 예상치 못한 쿼리 유형(예: 웹 검색 vs. 지식 기반 쿼리), (3) 예상치 못한 후행 작업(예: 엔티티 연결, 슬롯 채우기).
• KILT 벤치마크를 사용하여, 5개의 작업(예: NQ, EL, SF)에 걸쳐 11개의 데이터셋을 포함하여 이러한 OOD 조건 하에서 모델 성능을 평가한다.
• 표준 검색 메트릭(예: R-precision, DR_OOD(OOD 감소율))을 사용하여 생성적 검색 모델(BART, CorpusBrain)과 밀도 기반 기반 모델(DPR 등)의 성능을 평가한다.
• 과제별 검색 목표에 맞게 미세조정된 사전학습 모델을 적용하며, CorpusBrain는 일반화 능력을 향상시키기 위해 세 가지 전문화된 사전학습 과제(ISS, LPS, HIP)를 사용한다.
• 훈련 중에 볼 수 없었던 쿼리 유형이나 작업을 사용하거나 쿼리에 변형(예: 철자 오류, 재정렬)을 가하여 제어된 OOD 테스트 분할을 설계한다.
• 내분포에서 분포 외로의 성능 저하 정도를 측정하기 위해 DR_OOD(분포 외 감소율)를 정의하여 내성 정도를 정량화한다.

실험 결과

연구 질문

• RQ1 철자 오류나 단어 순서 변경과 같은 쿼리 변형 상황에서 생성적 검색 모델은 내분포 성능 대비 어떻게 성능을 발휘하는가?
• RQ2 훈련 중에 볼 수 없었던 쿼리 유형(예: 웹 검색 쿼리)에 대해 생성적 검색 모델은 얼마나 잘 일반화되는가?
• RQ3 사전학습 목표와 다를 수 있는 예상치 못한 후행 작업(예: 엔티티 연결)에서 생성적 검색 모델은 어떻게 성능을 발휘하는가?
• RQ4 생성 모델의 사전학습 설계(예: CorpusBrain 대 BART)는 다양한 내성 시나리오에서 OOD 일반화에 어떤 영향을 미치는가?
• RQ5 밀도 기반 모델은 OOD 일반화에서 생성 모델보다 얼마나 뛰어나며, 생성 모델이 분포 이동 상황에서 나타내는 주요 실패 유형은 무엇인가?

주요 결과

• 생성적 검색 모델은 OOD 조건에서 심각한 성능 저하를 겪으며, 철자 오류나 단어 순서 변경과 같은 쿼리 변형 작업에서 평균 R-precision 감소율이 20% 이상을 초과한다.
• NQ 데이터셋에서 BART와 같은 생성 모델은 예상치 못한 쿼리 유형(예: 웹 검색 쿼리)에 대해 특히 낮은 내성을 보이며, 일부 경우 DR_OOD 값이 30%를 초과한다.
• 모든 OOD 시나리오에서 CorpusBrain는 BART를 능가하며, 20개의 예상치 못한 작업 조합 중 13개에서 더 나은 일반화 성능를 기록하여 전문화된 사전학습의 이점을 입증한다.
• 생성 모델의 OOD 감소율(DR_OOD)은 밀도 기반 모델보다 일관되게 높으며, 특히 쿼리 변형과 예상치 못한 쿼리 유형 설정에서 두드러진다.
• 생성 모델 내부에서도 사전학습 설계가 중요하다: CorpusBrain의 세 단계 사전학습(ISS, LPS, HIP)은 표준 BART 대비 분포 이동에 대한 내성 향상에 뚜렷한 기여를 한다.
• 본 연구는 현재 생성적 검색 모델이 실제 세계의 분포 이동에 대해 내성적이지 않음을 드러내며, 강력한 내분포 성능에도 불구하고 일반화 능력에 심각한 격차가 존재함을 시사한다.