[논문 리뷰] Q-PEFT: Query-dependent Parameter Efficient Fine-tuning for Text Reranking with Large Language Models

Zhiyuan Peng, Xuyang Wu외 3명|arXiv (Cornell University)|2024. 04. 06.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 대규모 언어 모델을 사용한 텍스트 재정렬을 위한 쿼리에 의존하는 파rameter 효율적 미세조정 방법인 Q-PEFT를 제안한다. 쿼리를 사용하여 문서에서 상위-k 토큰을 추출하여 맥락적 단서로 활용하고, 전통적 검색을 다중 헤드 어텐션 레이어로 대체함으로써 엔드 투 엔드 학습을 가능하게 하며, 더 문서 기반의 합성 쿼리를 생성함으로써 사소한 파라미터 업데이트로도 네 개의 공개 데이터셋에서 재정렬 성능을 크게 향상시킨다.

ABSTRACT

Parameter Efficient Fine-Tuning (PEFT) methods have been extensively utilized in Large Language Models (LLMs) to improve the down-streaming tasks without the cost of fine-tuing the whole LLMs. Recent studies have shown how to effectively use PEFT for fine-tuning LLMs in ranking tasks with convincing performance; there are some limitations, including the learned prompt being fixed for different documents, overfitting to specific tasks, and low adaptation ability. In this paper, we introduce a query-dependent parameter efficient fine-tuning (Q-PEFT) approach for text reranking to leak the information of the true queries to LLMs and then make the generation of true queries from input documents much easier. Specifically, we utilize the query to extract the top-$k$ tokens from concatenated documents, serving as contextual clues. We further augment Q-PEFT by substituting the retrieval mechanism with a multi-head attention layer to achieve end-to-end training and cover all the tokens in the documents, guiding the LLMs to generate more document-specific synthetic queries, thereby further improving the reranking performance. Extensive experiments are conducted on four public datasets, demonstrating the effectiveness of our proposed approach.

연구 동기 및 목표

• 기존 파라미터 효율적 미세조정(PEFT) 방법의 고정된 프롬프트와 낮은 일반화 능력의 한계를 해결하기 위해.
• 프롬프트 학습을 입력 쿼리에 의존하도록 하여 관련성 이해를 향상시킴으로써 LLM 기반 재정렬을 개선하기 위해.
• 문서에서 쿼리 인식 기반 맥락적 단서를 동적으로 생성함으로써 과적합을 줄이고 적응 능력을 향상시키기 위해.
• 더 나은 의미 통합을 위해 기존 검색을 다중 헤드 어텐션 메커니즘으로 대체함으로써 엔드 투 엔드 학습을 가능하게 하기 위해.
• 대규모 모델의 전체 미세조정을 피하면서도 최소한의 파라미터 업데이트로 최신 기술 수준의 재정렬 성능을 달성하기 위해.

제안 방법

• 쿼리에 의존하는 모듈이 쿼리-문서 쌍을 연결한 후 쿼리를 키로 사용해 주요 맥락적 단서가 되는 상위-k 토큰을 추출한다.
• 기존의 하드 리트리ieval을 대체하기 위해 쿼리 인식 어텐션 기반의 검색 메커니즘을 활용하여 관련 문서 세그먼트를 식별한다.
• 검색 단계를 대체하기 위해 다중 헤드 어텐션 레이어를 통합하여 엔드 투 엔드 학습과 문서 토큰의 완전한 커버리지 가능하게 한다.
• 기존 LLM 파라미터를 동결하고, 소규모 학습 가능한 어댑터 모듈만 미세조정함으로써 파라미터 효율성을 확보한다.
• 어텐션 유도 맥락적 단서를 기반으로 합성 쿼리를 생성하여 쿼리와 문서 간의 관련성 스코어링을 향상시킨다.
• 네 개의 공개 데이터셋을 사용해 Recall@10을 평가하고, 다양한 리트리버와 학습 크기 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 쿼리에 의존하는 프롬프트 학습은 텍스트 재정렬에서 PEFT 방법의 일반화 능력과 적응 능력을 향상시킬 수 있는가?
• RQ2 하드 리트리ieval을 다중 헤드 어텐션 레이어로 대체할 경우 엔드 투 엔드 학습과 재정렬 성능에 어떤 영향을 미치는가?
• RQ3 쿼리 인식 토큰 추출은 LLM에서 문서 기반 관련성 모델링을 어느 정도 향상시키는가?
• RQ4 학습 크기가 다양한 데이터셋에서 제안된 Q-PEFT 방법의 안정성과 성능에 어떤 영향을 미치는가?
• RQ5 Q-PEFT는 제로샷 및 피셔샷 재정렬 시나리오에서 기존 PEFT 및 비-PEFT 기반선을 초월할 수 있는가?

주요 결과

• 다중 헤드 어텐션 레이어를 사용하는 Q-PEFT-A는 NQ 및 WebQ 데이터셋에서 Q-PEFT-R보다 더 안정적이고 높은 최고 성능을 기록한다.
• Q-PEFT-A 모델은 학습 크가 증가함에 따라 더 매끄럽게 성능 향상을 보이며, Q-PEFT-R에 비해 더 높은 Recall@10 값으로 안정화된다.
• NQ 데이터셋에서 Q-PEFT-R의 성능은 학습 크가 증가함에 따라 크게 진동하며, 최고점에 도달했다가 감소했다 다시 상승하는 등 불안정성을 보인다.
• WebQ 데이터셋에서 Q-PEFT-A는 학습 크가 증가함에 따라 일관되고 안정적인 향상을 보이며, Q-PEFT-R에 비해 더 높은 최고 성능을 달성한다.
• 모든 네 개의 데이터셋에서 UPR 기반선에 비해 유의미한 성능 향상을 기록했으며, 다양한 리트리버에서 Recall@10에서 일관된 개선을 보였다.
• 프롬프트 p4는 데이터셋 전반에서 가장 일관되고 최적의 성능을 보였으며, 모델 결과의 변동성을 감소시켰다.