[논문 리뷰] CARD: Cluster-level Adaptation with Reward-guided Decoding for Personalized Text Generation

Yutong Song, Jiang Wu외 8명|arXiv (Cornell University)|2026. 01. 09.

Topic Modeling인용 수 0

한 줄 요약

CARD는 클러스터 수준의 LoRA 어댑터를 클러스터 수준의 탐색과 디코딩 시 사용자별 로짓 모듈레이션을 결합한 계층적 개인화 프레임워크를 도입하여 효율성과 확장성을 개선한 강력한 개인화를 달성합니다.

ABSTRACT

Adapting large language models to individual users remains challenging due to the tension between fine-grained personalization and scalable deployment. We present CARD, a hierarchical framework that achieves effective personalization through progressive refinement. CARD first clusters users according to shared stylistic patterns and learns cluster-specific LoRA adapters, enabling robust generalization and strong low-resource performance. To capture individual differences within each cluster, we propose an implicit preference learning mechanism that contrasts user-authored text with cluster-level generations, allowing the model to infer user-specific style preferences without manual annotation. At inference time, CARD injects personalization exclusively at decoding via lightweight user preference vectors and low-rank logit corrections, while keeping the base model frozen. Experiments on the LaMP and LongLaMP benchmarks show that CARD achieves competitive or superior generation quality compared to state-of-the-art baselines, while significantly improving efficiency and scalability for practical personalized text generation.

연구 동기 및 목표

• 대형 언어 모델(LLMs)의 효율적이고 확장 가능한 개인화를 표준 사용자별 파인튜닝이나 대규모 검색 없이 촉진한다.
• 그룹 사전 지식을 위한 클러스터 수준 적응과 개인 차이를 위한 디코딩 시점 사용자 특화 변조를 활용하는 두 단계 프레임워크를 제안한다.
• 입력 정렬된 선호 쌍(user vs. cluster baseline)을 사용하여 사용자 특유의 스타일을 포착하는 암시적 선호 학습 메커니즘을 개발한다.
• 백본과 클러스터 어댑터를 고정한 채 디코딩 시 보상 가이드 로짓 편집을 통해 경량화된 사용자 선호 신호를 주입하여 추론 시 개인화를 가능하게 한다.

제안 방법

• LoRA를 이용한 클러스터 수준 적응: K개의 사용자 클러스터에 대해 클러스터 특화 LoRA 어댑터를 학습하여 공유된 스타일 패턴을 포착한다.
• 선호 쌍 구성: 사용자의 출력과 클러스터가 생성한 베이스라인을 대조하여 입력 정렬된 쌍을 만들어 안정적인 감독 신호를 얻는다.
• 디코딩 시점 개인화: 백본이나 클러스터 어댑터를 업데이트하지 않고 추론 시 로짓을 교란하기 위한 컴팩트한 사용자 선호 벡터와 어휘 투영을 학습한다.
• 보상 가이드 로짓 수정: 사용자 특이 신호에 의해 구동되는 저랭크, Top-k 제약 로짓 조정을 적용하여 개인화된 스타일로 생성을 이끈다.
• 훈련 목표: 구성된 쌍에 대해 Bradley–Terry 쌍별 손실을 사용하여 디코딩 시 개인화 파라미터를 최적화한다.
• 신규 사용자 적응: 신규 사용자를 클러스터에 할당하고 제한된 기록에서 선호 벡터를 추정하되 무거운 모델 구성 요소는 고정한다.

실험 결과

연구 질문

• RQ1 RQ1: 표준 평가 설정에서 CARD의 성능이 기존 개인화 기준선과 비교하여 어떤가?
• RQ2 RQ2: 그룹 LoRA와 사용자 벡터가 개인화 성능에 어떻게 기여하는가?
• RQ3 RQ3: 한정된 이력 데이터를 가진 저자원 사용자의 CARD는 얼마나 효과적인가?
• RQ4 RQ4: 사용자 벡터 구성 및 클러스터링의 설계 선택이 성능에 어떤 영향을 미치는가?
• RQ5 RQ5: LLM 판단은 개인화를 평가하는 데 인간 판단과 얼마나 일치하는가?
• RQ6 RQ6: CARD가 대규모 사용자 배치를 위한 효율성과 확장성을 갖추고 있는가?

주요 결과

작업	지표	비개인화	RAG	PAG	PAD	PPLUG	OPPU	CARD
LaMP4: News Headline Gen.	R-1	0.146	0.166	0.164	0.158	0.157	0.152	0.218
LaMP4: News Headline Gen.	R-L	0.128	0.148	0.146	0.139	0.138	0.128	0.195
LaMP5: Scholarly Title Gen.	R-1	0.425	0.456	0.415	0.442	0.464	0.426	0.459
LaMP5: Scholarly Title Gen.	R-L	0.342	0.372	0.352	0.360	0.386	0.342	0.387
LaMP7: Tweet Paraphrasing	R-1	0.497	0.500	0.507	0.502	0.511	0.498	0.521
LaMP7: Tweet Paraphrasing	R-L	0.439	0.431	0.435	0.437	0.433	0.422	0.448
LongLaMP1: Abstract Gen.	R-1	0.331	0.372	0.381	0.355	0.391	0.382	0.411
LongLaMP1: Abstract Gen.	R-L	0.184	0.203	0.201	0.194	0.217	0.202	0.316
LongLaMP2: Topic Writing	R-1	0.247	0.244	0.255	0.248	0.243	0.245	0.252
LongLaMP2: Topic Writing	R-L	0.119	0.118	0.125	0.121	0.122	0.112	0.127
LongLaMP3: Product Review Writing	R-1	0.292	0.382	0.322	0.308	0.396	0.295	0.405
LongLaMP3: Product Review Writing	R-L	0.130	0.152	0.141	0.136	0.149	0.132	0.156

• CARD는 여러 작업과 설정에서 최상위 또는 거의 최상위의 생성 품질을 달성하며, 12개 설정 중 10개에서 1위를 차지하고 나머지 두 개에서 근접 최상위를 기록한다.
• 제거 연구는 사용자 벡터가 개인화의 주된 원인임을 보여주고, 그룹 수준 LoRA가 중요한 기여를 하지만 상대적으로 작다.
• 저자원 상황에서도 CARD가 강한 성능을 유지하며, 제한된 이력으로 비개인화 기준선을 능가한다.
• 적당한 사용자 벡터 강도와 중간 차원이 최상의 개인화 균형을 제공하는 반면, 벡터가 너무 강하거나 크면 성능이 손상된다.
• LLM 기반 판단은 CARD를 선호하고, 인간 판단은 스타일과 사용자 적합성 측면에서 CARD를 참조보다 선호하는 경향이 있다.
• CARD는 효율성이 우수함을 보여주며, 학습 및 추론 비용이 개별 사용자의 모델 업데이트와 거의 독립적이고 확장 가능한 배치를 나타낸다.