[논문 리뷰] Should We Fine-Tune or RAG? Evaluating Different Techniques to Adapt LLMs for Dialogue

Simone Alghisi, Massimo Rizzoli외 3명|arXiv (Cornell University)|2024. 06. 10.

Speech and dialogue systems인용 수 4

한 줄 요약

이 논문은 Llama2 Chat와 Mistral Instruct를 사용하여 네 가지 대화 유형—개방형, 지식 기반, 임무 기반, 질문 응답—에서 Retrieval-Augmented Generation(RAG)을 통한 프ine-tuning과 인라인 학습을 평가한다. 결과적으로 보편적인 최적 기법은 없으며, 성능은 기반 모델과 대화 유형에 따라 달라지며, 자동 메트릭이 오해를 낳을 수 있으므로 인간 평가가 필수적임을 보여준다.

ABSTRACT

We study the limitations of Large Language Models (LLMs) for the task of response generation in human-machine dialogue. Several techniques have been proposed in the literature for different dialogue types (e.g., Open-Domain). However, the evaluations of these techniques have been limited in terms of base LLMs, dialogue types and evaluation metrics. In this work, we extensively analyze different LLM adaptation techniques when applied to different dialogue types. We have selected two base LLMs, Llama-2 and Mistral, and four dialogue types Open-Domain, Knowledge-Grounded, Task-Oriented, and Question Answering. We evaluate the performance of in-context learning and fine-tuning techniques across datasets selected for each dialogue type. We assess the impact of incorporating external knowledge to ground the generation in both scenarios of Retrieval-Augmented Generation (RAG) and gold knowledge. We adopt consistent evaluation and explainability criteria for automatic metrics and human evaluation protocols. Our analysis shows that there is no universal best-technique for adapting large language models as the efficacy of each technique depends on both the base LLM and the specific type of dialogue. Last but not least, the assessment of the best adaptation technique should include human evaluation to avoid false expectations and outcomes derived from automatic metrics.

연구 동기 및 목표

• 일致된 메트릭과 프로토콜을 사용하여 여러 대화 유형에서 프ine-tuning과 인라인 학습을 체계적으로 평가하기 위해.
• 외부 지식(모델이 검색한 것과 기준 지식)이 응답 생성 품질에 미치는 영향을 평가하기 위해.
• 두 기반 LLM인 Llama2 Chat와 Mistral Instruct 간의 성능을 비교하기 위해.
• 자동 메트릭의 한계를 드러내어 인간 평가 결과와의 괴리 현상을 보여주기 위해.
• 통합 기울기(gradient)를 통해 입력 토큰 기여도를 분석하고 응답 생성 오류를 설명하기 위해.

제안 방법

• Open-Domain, Knowledge-Grounded, Task-Oriented, Question Answering 네 가지 대화 데이터셋에 대해 Llama2 Chat와 Mistral Instruct를 프ine-tuning하였다.
• 모델 파rameter 업데이트 없이 소수의 예시를 사용하여 인라인 학습을 적용하였다.
• 상위 3개의 검색된 지식 문단을 통합하여 응답을 기반화하는 Retrieval-Augmented Generation(RAG)를 적용하였다.
• 검색 품질과 모델 성능 평가를 위해 기준 지식(gold knowledge)을 강력한 베이스라인으로 사용하였다.
• 자동 메트릭(BLEU-4, KF1, ROUGE-L)과 표준화된 인간 평가 프로토콜(정확성, 적절성, 타당성)을 활용하였다.
• 입력 토큰의 기여도를 할당하고 생성 오류를 분석하기 위해 통합 기울기(gradient)를 적용하였다.

실험 결과

연구 질문

• RQ1 다양한 대화 유형에서 프ine-tuning과 인라인 학습 중 어느 것이 더 뛰어난 응답 품질을 낼 수 있는가?
• RQ2 검색된 외부 지식 또는 기준 지식의 포함 여부가 각 대화 유형에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 자동 메트릭이 대화 응답 품질 평가에서 인간 판단과 얼마나 일치하는가?
• RQ4 동일한 적응 기법과 대화 작업에서 서로 다른 기반 LLM(Llama2 Chat와 Mistral Instruct)의 성능은 어떻게 다른가?
• RQ5 LLM 생성 응답에서 주요 오류 패턴은 무엇이며, 입력 기여도 분석을 통해 이를 어떻게 설명할 수 있는가?

주요 결과

• 프로토콜 기반으로 프ine-tuning은 지식 기반 대화(KGD), 임무 기반 대화(TOD), 질문 응답(QA)의 3개 유형에서 인라인 학습을 능가했으며, 기준 지식에서 가장 높은 F1 및 BLEU-4 점수를 기록했다.
• 임무 기반 대화에서 프ine-tuned 모델은 기준 지식을 사용해 45.49 KF1 점수를 기록했고, 이는 인라인 학습(28.79 KF1)보다 유의미하게 높았다.
• 개방형 대화에서 기준 지식 없이 인라인 학습을 적용한 결과 95%의 정확도를 기록했지만, 프ine-tuning은 65%로 떨어져, 작업에 따라 모델 행동이 다름을 보였다.
• 검색된 지식을 사용한 RAG는 대부분의 경우 기준 지식 없음 대비 성능 향상을 보였지만, 리콜이 낮아(예: KGD 문단 검색 시 69%), 성능 향상에 한계가 있었다.
• 인간 평가 결과에 따르면, ROUGE-L과 같은 자동 메트릭은 오해를 낳을 수 있었다: 인라인 학습은 더 길고 상세한 응답을 생성했지만, 기준 응답이 짧아 점수가 낮게 나왔다.
• 기준 지식은 모든 모델와 대화 유형에서 일관되게 성능 향상을 이끌었으며, 기준 지식을 사용한 프ine-tuned Mistral Instruct는 QA 유형에서 85%의 정확도를 기록했다.