[논문 리뷰] Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering

Yichi Zhang, Zhuo Chen외 5명|arXiv (Cornell University)|2023. 11. 11.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 도메인 특화 질문 응답을 위한 LLM을 향상시키기 위해 도메인 지식 그래프를 통합하고 인간 중심의 선호도를 학습하는 지식 인식 선호도 정렬 프레임워크인 KnowPAT을 제안한다. 새로운 정렬 목표를 통해 스타일 및 지식 선호도 세트를 도입하여, 검색된 지식을 선택적으로 활용하면서도 신뢰할 수 있고 사용자 友好的한 답변을 생성하는 데 있어 15개의 베이스라인을 능가한다.

ABSTRACT

Deploying large language models (LLMs) to real scenarios for domain-specific question answering (QA) is a key thrust for LLM applications, which poses numerous challenges, especially in ensuring that responses are both accommodating to user requirements and appropriately leveraging domain-specific knowledge bases. They are the two major difficulties for LLM application as vanilla fine-tuning falls short of addressing. Combining these requirements, we conceive of them as the requirement for the model's preference to be harmoniously aligned with humans'. Thus, we introduce Knowledgeable Preference AlignmenT (KnowPAT), which constructs two kinds of preference sets to tackle the two issues. Besides, we design a new alignment objective to align the LLM preference with different human preferences uniformly, aiming to optimize LLM performance in real-world, domain-specific QA settings. Adequate experiments and comprehensive comparisons with 15 baseline methods illustrate that our KnowPAT is a superior pipeline for real-scenario domain-specific QA with LLMs.

연구 동기 및 목표

• 실세계 도메인 특화 질문 응답에 LLM을 구현할 때 신뢰할 수 있고 사용자 친화적인 출력을 제공하는 데 도전하는 데 목적이 있다.
• 부적절하거나 과도한 지식 검색을 다루는 데 있어 순수한 피팅(fine-tuning)의 한계를 극복하는 데 목적이 있다.
• 사용자 친화적인 응답 스타일과 정확한 지식 활용의 필요성을 하나의 선호도 정렬 프레임워크 안에서 통합하는 데 목적이 있다.
• 일반 지식을 유지하면서 지식 그래프를 통해 도메인 특화 전문 지식을 습득하는 방법을 개발하는 데 목적이 있다.

제안 방법

• LLM이 사용자 친화적이고 자연스러운 응답을 생성하도록 유도하기 위해 스타일 선호도 세트를 구성한다.
• 검색된 지식 삼중항을 사용하여 선택적이고 정확한 지식 활용을 가능하게 하는 지식 선호도 세트를 만든다.
• 스타일 및 지식 선호도를 모두 활용하여 인간 선호도와 모델 생성을 정렬하는 새로운 선호도 정렬 목표를 설계한다.
• 검색된 지식 삼중항을 맥락으로만 사용하는 것이 아니라, 선호도 세트 구성의 활성 구성 요소로 통합한다.
• LLM이 지식 및 선호도 신호로 풍부해진 프롬프트를 기반으로 훈련되는 검색 보강 피팅 파이프라인을 구현한다.
• 응답 품질(보상 모델링을 통해)과 생성 유창성(피플리티비티 점수(PPL)를 통해)을 동시에 최적화하기 위해 이중 브랜치 손실 목표를 활용한다.

실험 결과

연구 질문

• RQ1 LLM을 인간 선호도와 어떻게 정렬하여 도메인 특화 QA에서 안정적이고 사용자 친화적인 답변을 생성할 수 있는가?
• RQ2 검색된 지식을 얼마나 선택적으로 사용할 수 있는가? 이를 통해 환각이나 부적절한 콘텐츠를 방지할 수 있는가?
• RQ3 통합된 선호도 정렬 프레임워크는 LLM에서 스타일과 지식 활용을 효과적으로 균형 잡는 데 성공할 수 있는가?
• RQ4 제안된 방법은 일반 지식을 유지하면서 어떻게 도메인 특화 전문 지식을 습득하는가?

주요 결과

• KnowPAT는 BLEU-1 점수 22.56과 ROUGE-1 점수 20.28을 기록하여 가장 강력한 베이스라인을 크게 앞서나간다.
• 제거 실험(ablation studies) 결과, 특히 피팅, 적응형 가중치 또는 지식 선호도 세트를 제거할 경우 성능 저하가 발생함을 확인했다.
• 모델는 강력한 일반 지식 능력을 유지하며, CMMLU 벤치마크에서 의학 분야에서는 약간의 감소가 있었고, 경제 분야에서는 약간의 향상이 있었다.
• 사례 연구에서 KnowPAT는 관련 없는 검색된 지식(예: MAC를 립스틱으로 오해)을 정확히 무시하는 반면, RRHF와 같은 베이스라인은 이를 오해하여 잘못된 판단을 내렸다.
• 골드 표준 참조보다 더 정보가 풍부하고 자연스러운 어조의 응답을 생성한다. 예를 들어 알람에 호스트 파라미터를 포함하는 식이다.
• -1.69의 보상 점수는 인간 선호도와 강한 정렬을 나타내며, -2.0 이하의 점수를 기록한 베이스라인들을 모두 능가한다.