[논문 리뷰] Personalized Large Language Models

Stanisław Woźniak, Bartłomiej Koptyra외 3명|arXiv (Cornell University)|2024. 02. 14.

Topic Modeling인용 수 7

한 줄 요약

논문은 주관적 과제(감정 인식 및 혐오 발언 탐지)에 대해 개인화된 LLM의 미세조정과 제로샷/소수샷 추론을 비교하고, 개인화된 미세조정이 다수의 아키텍처와 데이터세트에서 상당한 성능 향상을 가져온다고 결론짓습니다.

ABSTRACT

Large language models (LLMs) have significantly advanced Natural Language Processing (NLP) tasks in recent years. However, their universal nature poses limitations in scenarios requiring personalized responses, such as recommendation systems and chatbots. This paper investigates methods to personalize LLMs, comparing fine-tuning and zero-shot reasoning approaches on subjective tasks. Results demonstrate that personalized fine-tuning improves model reasoning compared to non-personalized models. Experiments on datasets for emotion recognition and hate speech detection show consistent performance gains with personalized methods across different LLM architectures. These findings underscore the importance of personalization for enhancing LLM capabilities in subjective text perception tasks.

연구 동기 및 목표

• 주관적 텍스트 인식 과제에 대한 LLM의 개인화를 고무한다.
• 제로샷 및 소수샷 인-context 학습과 개인화된 미세조정을 비교 평가한다.
• 다양한 LLM 아키텍처와 두 개의 공개 데이터세트에서 성능을 평가한다.
• 개인화가 성능을 높이는 시점과 방법에 대한 실용적 지침을 제공한다.
• 재현성을 지원하기 위해 코드와 데이터셋을 공개한다.

제안 방법

• 사용자 ID와 같은 사용자 맥락을 미세조정 또는 프롬팅 중에 활용하여 개인화를 형식화한다.
• 비개인화 기준선과 비교: 지시문 튜닝 쿼리, 미세조정이 가능한 새로운 분류 헤드, 라벨에 대한 생성형 미세조정이 포함된다.
• 프롬프트에 N개의 예시를 포함한 in-context learning(Q-NS)으로 소샷 개인화를 구현한다.
• 훈련에 사용자 ID를 포함시켜 개인화된 분류(CLS-P)와 개인화된 언어 모델링(LM-P)을 개발한다.
• GoEmotions 및 Unhealthy Conversations 데이터세트에서 다수의 디코더-전용 및 인코더-디코더 LLM(Phi-2, StableLM, Mistral, Flan-T5, GPT-3.5, GPT-4)을 실험한다.
• 리소스를 관리하기 위해 4-bit NF4 양자화, qLoRA 어댑터, 혼합 정밀도 학습을 사용한다.

실험 결과

연구 질문

• RQ1 개인화된 미세조정(CLS-P, LM-P)이 비개인화 기준선(CLS, LM, Q-0S)보다 주관적 과제에서 일관되게 더 나은 성능을 보이는가?
• RQ2 다양한 데이터세트의 라벨 복잡도(GoEmotions 대 Unhealthy Conversations)와 LLM 아키텍처에 따라 개인화 이득이 어떻게 변하는가?
• RQ3 주관적 과제에서 최대 성능을 얻기 위해 소샷 인-context 개인화가 충분한가, 아니면 전체 미세조정이 필요한가?
• RQ4 분류 대 언어 모델링 과제에서 서로 다른 모델 아키텍처(디코더-전용 vs 인코더-디코더)가 개인화에 어떻게 반응하는가?
• RQ5 주관적 텍스트 분석에서 개인화된 LLM을 배치하기 위한 실용적 가이드라인은 무엇인가?

주요 결과

모델	설정	GoEmotions F1-macro (%)	Unhealthy Conversations F1-macro (%)
Phi-2	LM	28.99	34.97
Phi-2	LM-P	32.87	45.89
Phi-2	CLS	30.03	31.91
Phi-2	CLS-P	43.07	48.26
StableLM	3B	26.55	29.61
StableLM	3B LM-P	31.72	48.54
StableLM	3B CLS	27.42	16.92
StableLM	3B CLS-P	41.44	44.68
Mistral	7B	28.36	34.29
Mistral	7B LM-P	34.52	51.65
Mistral	7B CLS	26.77	23.10
Mistral	7B CLS-P	43.94	52.83

• 개인화된 미세조정은 두 데이터세트 모두에서 비개인화 기준선에 비해 상당한 이득을 제공하며, 특히 Unhealthy Conversations에서 이득이 더 큰 경향이 있다.
• GoEmotions에서 CLS-P가 일반적으로 LM-P를 능가하는 경향이 있어 레이블 복잡성이 개인화 효과에 미치는 영향을 시사한다.
• 디코더-전용 모델(예: Mistral)은 사용자 맥락의 확장으로부터 더 큰 이점을 얻는 경향이 있지만, 인코더-디코더 모델(예: Flan-T5)은 CLS-P/LM-P 설정에서 미세조정으로 뛰어날 수 있다.
• GoEmotions: CLS-P가 F1-매크로에서 최대 43.07%; Phi-2의 LM-P는 32.87%에 도달한다. Unhealthy Conversations: CLS-P는 48.26% 및 Phi-2의 LM-P는 45.89%에 도달한다.
• 모델과 설정 전반에 걸쳐 개인화 접근법이 일반적으로 비개인화 접근법보다 우수하며, 미세조정이 가장 큰 개선을 제공한다.