[논문 리뷰] Parameter-Efficient Prompt Tuning Makes Generalized and Calibrated Neural Text Retrievers

Weng Lam Tam, Xiao Liu외 7명|arXiv (Cornell University)|2022. 07. 14.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 신경망 텍스트 검색기용 파rameter 효율적인 프롬프트 튜닝(특히 P-Tuning v2)을 제안하며, 전체 미세조정과 유사한 성능을 달성하면서 모델 파라미터의 0.1%만 사용한다. 이는 도메인 간 및 교차 주제 일반화에서 뚜렷한 향상을 보이며, 더 나은 신뢰도 캘리브레이션과 쿼리 길이에 대한 강건성 덕분으로 기인한다. 또한 87개 주제에 걸쳐 18,000개의 쿼리-논문 쌍을 포함한 가장 큰 주제별 학술 검색 데이터셋인 OAG-QA를 도입한다.

ABSTRACT

Prompt tuning attempts to update few task-specific parameters in pre-trained models. It has achieved comparable performance to fine-tuning of the full parameter set on both language understanding and generation tasks. In this work, we study the problem of prompt tuning for neural text retrievers. We introduce parameter-efficient prompt tuning for text retrieval across in-domain, cross-domain, and cross-topic settings. Through an extensive analysis, we show that the strategy can mitigate the two issues -- parameter-inefficiency and weak generalizability -- faced by fine-tuning based retrieval methods. Notably, it can significantly improve the out-of-domain zero-shot generalization of the retrieval models. By updating only 0.1% of the model parameters, the prompt tuning strategy can help retrieval models achieve better generalization performance than traditional methods in which all parameters are updated. Finally, to facilitate research on retrievers' cross-topic generalizability, we curate and release an academic retrieval dataset with 18K query-results pairs in 87 topics, making it the largest topic-specific one to date.

연구 동기 및 목표

• 신경 텍스트 검색에서 전체 미세조정의 파라미터 비효율성과 열악한 일반화 능력을 해결하기 위해.
• 파라미터 효율적인 프롬프트 튜닝이 도메인 내, 도메인 간, 주제 간 설정에서 일반화 능력을 향상시킬 수 있는지 조사하기 위해.
• 프롬프트 튜닝의 향상된 일반화 배경 메커니즘, 특히 신뢰도 캘리브레이션과 쿼리 길이에 대한 강건성에 대해 이해하기 위해.
• 향후 연구를 지원하기 위해 대규모이고 세밀한 학술 검색 데이터셋(OAG-QA)을 구축하고 공개하기 위해.

제안 방법

• 사전 훈련된 검색기의 모든 파라미터를 동결하면서, 학습 가능한 프롬프트 임베딩의 소수만 미세조정하는 파라미터 효율적인 프롬프트 튜닝 방법인 P-Tuning v2를 적용한다.
• 사전 훈련된 모델의 입력 이전에 삽입되는 미분 가능한 프롬프트 임베딩 레이어를 사용하여, 이 프롬프트 토큰들만에 대해 기울기 업데이트가 가능하도록 한다.
• 프롬프트 튜닝이 전체 미세조정을 대체하는 방식으로, 도메인 내 및 도메인 외 데이터셋에서 대비 학습 목표(예: InfoNCE)를 사용해 검색기를 훈련한다.
• 표준 검색 메트릭(예: MRR, Recall@k)을 사용해 모델 성능을 평가하고, 도메인 내 및 도메인 간 벤치마크에서 기대 캘리브레이션 오차(ECE)를 통해 캘리브레이션 수준을 평가한다.
• 다양한 쿼리 길이 범주(예: 짧음, 중간, 길음)에서 성능을 분석함으로써 쿼리 길이 강건성에 대한 분석을 수행한다.
• 87개 주제와 22개 학문 분야에 걸쳐 17,948개의 쿼리-논문 쌍을 포함한 새로운 학술 검색 데이터셋인 OAG-QA를 구축하고 공개하여 교차 주제 평가를 가능하게 한다.

실험 결과

연구 질문

• RQ1 파라미터 효율적인 프롬프트 튜닝은 신경 텍스트 검색에서 전체 미세조정과 유사한 도메인 내 성능을 달성할 수 있는가?
• RQ2 전체 미세조정에 비해 프롬프트 튜닝은 도메인 외 및 교차 주제 검색 벤치마크에서 제로샷 일반화 능력을 향상시키는가?
• RQ3 프롬프트 튜닝의 향상된 일반화 배경 메커니즘은 무엇인가?
• RQ4 프롬프트 튜닝은 모델의 캘리브레이션과 다양한 쿼리 길이에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 극도로 높은 파라미터 효율성 덕분에, 프롬프트 튜닝은 소수의 예제 및 메타학습 시나리오에서 검색 작업에 얼마나 잘 활용될 수 있는가?

주요 결과

• P-Tuning v2는 모델 파라미터의 0.1%만 업데이트하면서도 전체 미세조정과 유사한 도메인 내 성능을 달성한다.
• BEIR 벤치마크에서, P-Tuning v2는 도메인 외 설정에서 전체 미세조정 모델 대비 상대적 MRR 향상률이 3.5%에서 105.0%에 이르렀다.
• ECE(기대 캘리브레이션 오차)로 측정했을 때, P-Tuning v2 모델은 도메인 내 및 도메인 간 데이터셋 모두에서 전체 미세조정 모델보다 유의미하게 더 나은 신뢰도 캘리브레이션 성능을 보였다.
• P-Tuning v2는 짧은 쿼리(Quora)와 긴 쿼리(ArguAna) 모두에서 전체 미세조정 모델보다 더 뛰어난 쿼리 길이 변화에 대한 강건성을 보였다.
• 87개 주제와 22개 학문 분야에 걸쳐 17,948개의 쿼리-논문 쌍을 포함한 OAG-QA 데이터셋은 지금까지 공개된 바 가장 큰 세밀한 주제별 학술 검색 데이터셋이다.
• 실증 분석을 통해 개선된 캘리브레이션과 쿼리 길이 강건성이 프롬프트 튜닝의 일반화 우수성의 핵심 요인임을 확인했다.