[논문 리뷰] R-Tuning: Instructing Large Language Models to Say `I Don't Know'

Hanning Zhang, Shizhe Diao외 7명|arXiv (Cornell University)|2023. 11. 16.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 대규모 언어 모델이 알 수 없는 질문에 대답을 거부할 수 있도록 하는 데에 초점을 맞춘 R-Tuning이라는 새로운 지시 테이닝 방법을 제안한다. 이 방법은 매개변수 지식과 지시 테이닝 데이터 간의 지식 격차를 식별하여 작동한다. 훈련 데이터를 확실한 부분과 불확실한 부분으로 나누고, 불확실한 예시에 '모르겠습니다'라는 표현을 첨부함으로써 R-Tuning은 거부 정확도와 일반화 능력을 크게 향상시켜 도메인 내 및 도메인 외 설정에서 표준 지시 테이닝보다 뛰어난 성능을 보인다.

ABSTRACT

Large language models (LLMs) have revolutionized numerous domains with their impressive performance but still face their challenges. A predominant issue is the propensity for these models to generate non-existent facts, a concern termed hallucination. Our research is motivated by the observation that previous instruction tuning methods force the model to complete a sentence no matter whether the model knows the knowledge or not. When the question is out of the parametric knowledge, it will try to make up something and fail to indicate when it lacks knowledge. In this paper, we present a new approach called Refusal-Aware Instruction Tuning (R-Tuning). This approach is formalized by first identifying the disparity in knowledge encompassed by pre-trained parameters compared to that of instruction tuning data. Then, we construct the refusal-aware data based on the knowledge intersection, to tune LLMs to refrain from responding to questions beyond its parametric knowledge. Experimental results demonstrate R-Tuning effectively improves a model's ability to answer known questions and refrain from answering unknown questions. Furthermore, when tested on out-of-domain datasets, the refusal ability was found to be a meta-skill that could be generalized to other tasks. Further analysis surprisingly finds that learning the uncertainty results in better calibration and an improved ability to estimate the uncertainty than uncertainty-based testing. Our code is available at https://github.com/shizhediao/R-Tuning.

연구 동기 및 목표

• 알 수 없는 질문에 직면했을 때 대규모 언어 모델이 사실을 잘못 생성하는 문제를 해결하기 위해.
• 매개변수 지식(사전 훈련 기간에 학습된 지식)과 지시 테이닝 데이터 간의 지식 격차를 식별하기 위해.
• 지식이 부족한 경우를 인식하고 이를 바탕으로 대답을 거부하도록 모델을 훈련하기 위해.
• 알 수 없는 질문에 대해 응답을 회피하도록 가르침으로써 모델의 신뢰성을 높이고 환각 현상을 줄이기 위해.
• 다중 작업 학습을 통해 거부 능력이 메타스킬로 일반화될 수 있는지 조사하기 위해.

제안 방법

• 지시 테이닝 데이터에 대한 모델 예측과 정답 레이블을 비교하여 지식 격차를 측정함으로써 예시를 확실한($D_1$) 또는 불확실한($D_0$)으로 분류한다.
• 불확실한 집합 $D_0$의 레이블에 불확실성 표현(예: '모르겠습니다')을 첨부하여 거부 인식 훈련 데이터를 구성한다.
• 합쳐진 데이터셋에서 LLM을 피니테인 투닝하며, $D_1$에는 표준 응답이 포함되고 $D_0$에는 거부 인식 응답이 포함된다.
• 데이터 분할 및 분석 중에 예측 분포의 엔트로피를 불확실성의 대체 지표로 사용한다.
• 다양한 데이터셋 간의 다중 작업 학습을 적용하여 거부 메타스킬을 추상화하고 일반화한다.
• 도메인 내 및 도메인 외 벤치마크에서 AP 점수, 정밀도, 재현율을 사용하여 성능을 평가한다.

실험 결과

연구 질문

• RQ1 지시 테이닝을 수정하여 모델이 알 수 없는 질문에 대해 거부 응답을 할 수 있도록 가르칠 수 있는가?
• RQ2 매개변수 지식과 지시 테이닝 데이터 간의 지식 격차를 식별하면 거부 능력이 향상되는가?
• RQ3 거부 능력은 메타스킬로 간주하여 도메인 외 작업으로 일반화될 수 있는가?
• RQ4 훈련 중에 불확실성 학습을 수행하면 추론 시 불확실성 기반 필터링보다 성능이 더 좋은가?
• RQ5 정밀도, 재현율 및 환각 감소 측면에서 R-Tuning은 표준 지시 테이닝보다 어떻게 비교되는가?

주요 결과

• R-Tuning은 모델이 알 수 없는 질문에 대해 거부하는 능력을 크게 향상시켰으며, OpenLLaMA-3B의 ParaRel에서 AP 점수가 최대 0.426 증가하였다.
• MMLU 벤치마크에서 LLaMA-13B는 불확실한 질문에 대해 거부 정확도가 0.457에 도달하여 복잡한 추론 작업에서 뛰어난 성능을 보였다.
• 이 방법은 도메인 외 데이터셋으로도 잘 일반화되어 있어, 거부 능력이 다중 작업 학습을 통해 훈련 가능한 메타스킬임을 입증하였다.
• 훈련 중에 불확실성 학습을 수행하면 추론 시 불확실성 필터링을 적용하는 것보다 더 나은 불확실성 추정과 응답 품질을 얻을 수 있었다.
• 훈련 데이터에서 예측 분포의 엔트로피는 불확실성과 상관이 있으며, 이는 데이터 분할 방법의 타당성을 뒷받침한다.
• R-Tuning은 표준 지시 테이닝보다 정밀도와 재현율 사이의 균형을 더 잘 달성하여 정확도를 유지하면서도 환각 현상을 줄였다.