[논문 리뷰] LLM-augmented Preference Learning from Natural Language

Inwon Kang, Sikai Ruan외 5명|arXiv (Cornell University)|2023. 10. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 자연어에서의 선호도 학습을 위해 대규모 언어 모델(Large Language Models, LLMs)을 사용하는 것을 조사하며, 분류 작업을 프롬프트 기반 추론 문제로 재정의한다. 연구에서는 특히 few-shot 프롬프팅을 활용할 경우, 미세조정 없이도 이전의 최고 성능 모델들을 능가하는 것으로 밝혀냈으며, 특히 긴 복잡한 텍스트에서 뛰어난 성능을 보였다.

ABSTRACT

Finding preferences expressed in natural language is an important but challenging task. State-of-the-art(SotA) methods leverage transformer-based models such as BERT, RoBERTa, etc. and graph neural architectures such as graph attention networks. Since Large Language Models (LLMs) are equipped to deal with larger context lengths and have much larger model sizes than the transformer-based model, we investigate their ability to classify comparative text directly. This work aims to serve as a first step towards using LLMs for the CPC task. We design and conduct a set of experiments that format the classification task into an input prompt for the LLM and a methodology to get a fixed-format response that can be automatically evaluated. Comparing performances with existing methods, we see that pre-trained LLMs are able to outperform the previous SotA models with no fine-tuning involved. Our results show that the LLMs can consistently outperform the SotA when the target text is large -- i.e. composed of multiple sentences --, and are still comparable to the SotA performance in shorter text. We also find that few-shot learning yields better performance than zero-shot learning.

연구 동기 및 목표

• 대규모 언어 모델(LLMs)이 미세조정 없이도 자연어에서의 비교적 선호도를 효과적으로 분류할 수 있는지 평가하는 것.
• 프롬프트 설계 및 few-shot 대비 zero-shot 학습이 선호도 분류 성능에 미치는 영향을 조사하는 것.
• 다양한 텍스트 복잡도를 가진 벤치마크 데이터셋에서 LLM 기반 접근 방식과 기존 최고 성능 모델 간의 성능을 비교하는 것.
• 다중 에이전트 의사결정 시스템에서 선호도 학습을 위한 확장 가능하고 zero-shot 기능을 갖춘 솔루션으로 LLM을 사용할 수 있는지 탐색하는 것.
• 현재 LLM이 미묘하거나 암묵적인 선호도 표현을 다루는 데에서 겪는 한계를 식별하고 향후 개선 방향을 제안하는 것.

제안 방법

• 선호도 분류 작업을 프롬프트 기반 추론 문제로 정형화하여, 입력 텍스트를 LLM에 대한 자연어 지시문으로 통합한다.
• 두 가지 효과적인 프롬프팅 전략을 설계: 명시적 지시 템플릿을 사용하는 전략과 프롬프트 내에 few-shot 예시를 통합하는 전략.
• GPT-4, GPT-3.5-Turbo, LLaMa-2-70B, LLaMa-2-13B 총 네 종류의 LLM을 평가하며, Compsent-19 및 College Confidential 두 가지 벤치마크 데이터셋을 사용한다.
• 고정 형식의 응답 파싱을 통한 자동 평가를 적용하여 모든 모델 간 일관성 있고 신뢰할 수 있는 성능 측정을 보장한다.
• 일반화 능력과 few-shot 인라인 학습 능력을 비교하기 위해 zero-shot 및 few-shot 프롬프팅 설정을 구현한다.
• 모델 성능이 프롬프트 설계 요소에 의해 영향을 받는 것을 차단하기 위해 체계적인 평가 파이프라인을 적용하여 재현 가능성과 공정한 비교를 확보한다.

Figure 1. Illustration of the retry prompt process. The incorrect output is appended to the original prompt, followed by a retry message to remind the rules.

실험 결과

연구 질문

• RQ1 LLMs는 미세조정 없이도 기존의 최고 성능 모델들을 자연어 기반 선호도 학습에서 능가할 수 있는가?
• RQ2 다양한 LLM에서 선호도 분류 정확도 측면에서 few-shot 프롬프팅은 zero-shot 프롬프팅보다 어떻게 비교되는가?
• RQ3 모델 크기(예: GPT-4 대비 LLaMa-2-13B)가 더 긴 또는 더 복잡한 선호도 표현에서 성능에 유의미한 영향을 미치는가?
• RQ4 LLMs는 기존 NLP 모델이 도전하는 암묵적이거나 다중 문장에 걸친 선호도 표현을 효과적으로 처리할 수 있는가?
• RQ5 프롬프트 설계가 LLM의 선호도 분류 작업에서 잠재력을 최대한 발휘하는 데 어떤 역할을 하는가?

주요 결과

• 사전 학습된 LLM, 특히 GPT-4와 LLaMa-2-70B는 더 길고 복잡한 텍스트를 포함한 College Confidential 데이터셋에서 이전의 최고 성능 모델들을 능가했다.
• 모든 평가된 LLM에서 few-shot 프롬프팅이 zero-shot 프롬프팅보다 일관되게 높은 성능을 보였으며, 이는 인라인 학습이 선호도 탐지 정확도를 향상시킨다는 것을 시사한다.
• 작은 LLaMa-2-13B 모델조차도 경쟁 가능한 성능을 달성하여, 적절한 프롬프팅이 적용된 경우 중간 크기의 파rameter 수를 가진 LLM도 효과적일 수 있음을 보여준다.
• 짧고 단일 문장 텍스트(예: Compsent-19)에서는 일부 이전 SotA 모델이 여전히 LLM을 능가했으며, 이는 LLM이 항상 우월한 것은 아니며 복잡성에서 두각을 나타낸다는 것을 의미한다.
• 가장 큰 모델인 GPT-4는 가장 높은 성능을 기록했으며, 이는 모델 규모가 미묘한 맥락에서 추론 능력과 선호도 이해 능력을 향상시킨다는 것을 입증한다.
• 프롬프트 설계가 성능에 상당한 영향을 미치며, 체계적이고 예시가 풍부한 프롬프트가 일반적인 지시보다 더 신뢰성 있고 정확한 예측을 유도한다.