[논문 리뷰] Aligning to Thousands of Preferences via System Message Generalization

Seongyun Lee, Sue Hyun Park외 2명|arXiv (Cornell University)|2024. 05. 28.

Semantic Web and Ontologies인용 수 4

한 줄 요약

이 논문은 수천 가지 다양한 시스템 메시지를 통해 개인 사용자 선호도에 맞추기 위해 대규모 언어 모델(LM)을 일반화시키는 확장 가능한 패러다임을 제안한다. 새로운 192만 건의 샘플을 포함하는 '다면성 컬렉션(Multifaceted Collection)'이라는 데이터셋을 사용해 7B 규모의 LLM인 '제누스(Janus)'를 훈련시켰으며, 재훈련 없이도 미리 보지 않은 사용자 선호도에 강력하게 대응하면서도, 여러 벤치마크에서 미스트랄 7B, GPT-3.5, 심지어 LLaMA 3 8B 인struct보다도 뛰어난 성능을 기록한다.

ABSTRACT

Although humans inherently have diverse values, current large language model (LLM) alignment methods often assume that aligning LLMs with the general public's preferences is optimal. A major challenge in adopting a more individualized approach to LLM alignment is its lack of scalability, as it involves repeatedly acquiring preference data and training new reward models and LLMs for each individual's preferences. To address these challenges, we propose a new paradigm where users specify what they value most within the system message, steering the LLM's generation behavior to better align with the user's intentions. However, a naive application of such an approach is non-trivial since LLMs are typically trained on a uniform system message (e.g., "You are a helpful assistant") which limits their ability to generalize to diverse, unseen system messages. To improve this generalization, we create the Multifaceted Collection, a preference dataset with 192k combinations of values beyond generic helpfulness and harmlessness, spanning 65k user instructions. Using this dataset, we train a 7B LLM called Janus and test it on 921 prompts from 5 benchmarks (AlpacaEval 2.0, FLASK, Koala, MT-Bench, and Self-Instruct) by adding various unseen system messages that reflect user preferences. Janus achieves tie+win rate of 75.2%, 72.4%, and 66.4% against Mistral 7B Instruct v0.2, GPT-3.5 Turbo, and GPT-4, respectively. Unexpectedly, on three benchmarks focused on response helpfulness (AlpacaEval 2.0, MT-Bench, Arena Hard Auto v0.1), Janus also outperforms LLaMA 3 8B Instruct by a +4.0%, +0.1%, +3.0% margin, underscoring that training with a vast array of system messages could also enhance alignment to the general public's preference as well. Our code, dataset, benchmark, and models are available at https://github.com/kaistAI/Janus.

연구 동기 및 목표

• 각 사용자 선호도에 맞게 재훈련하는 것이 계산적으로 비효율적이기 때문에, 개인화된 LLM 정렬의 확장성 문제를 해결하기 위해 노력한다.
• 기존 오픈소스 LLM이 단일한 통일된 시스템 프롬프트로 훈련되면서도 새로운 시스템 메시지에 일반화하는 데에 한계를 보이므로 이를 극복한다.
• 재훈련 없이도 추론 시점에 시스템 메시지 프롬프팅을 통해 개인 선호도에 적응할 수 있는 방법을 개발한다.
• 다양한 시스템 메시지로 훈련하면 개인화 능력뿐 아니라 공공 선호도와의 일반화된 정렬 능력 향상에도 기여함을 입증한다.

제안 방법

• 65,000개의 고유한 지시문을 포함하는 192만 개의 고유한 시스템 메시지-지시문-응답 트리플을 포함한 선호도 데이터셋인 '다면성 컬렉션'을 구축한다.
• 다섯 개의 기존 데이터셋에서 지시문을 확보하고, GPT-4-Turbo를 활용해 다각도적인 인간 선호도를 반영한 다양한 시스템 메시지와 기준 응답을 생성한다.
• 다양한 시스템 메시지에 대해 추론 시점에서 일반화할 수 있도록 지시어 테이닝을 통해 7B 규모의 LLM(제누스)를 다면성 컬렉션에 훈련시킨다.
• 다양하고 새로운 시스템 메시지를 프롬프트에 통합하여 다섯 가지 벤치마크(AlpacaEval 2.0, FLASK, Koala, MT-Bench, Self-Instruct)에서 제누스의 성능을 평가한다.
• 사람이 검증한 고품질의 시스템 메시지와 응답을 사용하며, 훈련 및 평가 이전에 저품질 인스턴스를 필터링한다.
• 쌍별 인간 평가와 GPT-4 기반의 자동 점수 평가를 통해 다양한 선호도 차원에서의 성능을 검증한다.

Figure 1: Previous LLMs are trained with homogeneous system messages reflecting general helpfulness and harmlessness. We propose training LLMs with diverse system messages, each representing an individual’s multifaceted preferences, to generalize to unseen system messages. The resulting model, Janus

실험 결과

연구 질문

• RQ1 재훈련 없이도 개인 사용자 선호도를 반영하는 다양한 새로운 시스템 메시지에 대해 일반화할 수 있도록 LLM을 훈련시킬 수 있는가?
• RQ2 다양한 시스템 메시지로 훈련하면 개인화 능력뿐 아니라 광범위한 공공 선호도와의 일반화된 정렬 능력 향상에도 기여하는가?
• RQ3 다양한 시스템 메시지로 훈련된 단일 LLM이 미스트랄 7B, GPT-3.5, GPT-4와 같은 기존 모델보다 선호도 정렬에서 얼마나 뛰어난 성능을 보일 수 있는가?
• RQ4 다면성 컬렉션에 담긴 선호도는 다양한 차원과 하위차원에서 얼마나 다양하고 상호 겹치지 않는가?
• RQ5 시스템 메시지 일반화가 유용성, 간결성, 사실 정확성에 중점을 둔 벤치마크에서 성능 향상에 기여할 수 있는가?

주요 결과

• 미리 보지 않은 시스템 메시지를 사용한 벤치마크 평가에서 제누스는 미스트랄 7B 인스트럭트 v0.2에 대해 75.2%의 타이+승리 비율, GPT-3.5 투르보에 대해 72.4%, GPT-4에 대해 66.4%의 성과를 기록했다.
• 인간 쌍별 평가에서 제누스는 미스트랄 7B 인스트럭트 v0.2에 대해 74.8%의 승리 비율, GPT-3.5-Turbo에 대해 70.8%, GPT-4-Turbo-0125에 대해 57.9%의 승리 비율을 기록했다.
• AlpacaEval 2.0, MT-Bench, Arena Hard Auto v0.1에서 제누스는 LLaMA 3 8B 인스트럭트보다 각각 +4.0%, +0.1%, +3.0%의 성능 향상을 보이며 더 나은 일반화된 정렬 능력을 입증했다.
• 모든 차원에서 선호도 쌍 간의 ROUGE-L 점수 평균은 0.21이며 최대 0.25로, 192만 개의 선호도 기술에 있어 뚜렷한 다양성과 낮은 겹침을 확인했다.
• 다면성 컬렉션은 스타일, 배경 지식, 정보성, 해로움 방지의 네 가지 선호도 차원에서 총 12개의 하위차원을 포괄하며, 각각 고유한 키워드와 세밀한 선호도를 반영한다.
• GPT-4 평가에서 제누스는 평균 5점 만점에 4.24점을 기록했으며, LLaMA 3 8B 인스트럭트(4.1), Mixtral 8x7B 인스트럭트(4.03), GPT-3.5-Turbo-0125(3.91)를 모두 초월했고, LLaMA 3 70B 인스트럭트(4.39)에 가까운 성능을 보였다.

Figure 2: Construction process of Multifaceted Collection . For each instruction, preference descriptions are augmented from general to specific, allowing for multiple facets to branch out. We combine preferences from various dimensions into a system message to materialize these preferences as model