[논문 리뷰] Fusian: Multi-LoRA Fusion for Fine-Grained Continuous MBTI Personality Control in Large Language Models

Zehao Chen, Rong Pan|arXiv (Cornell University)|2026. 03. 16.

Personality Traits and Psychology인용 수 0

한 줄 요약

퓨시안(Fusian)은 SFT 중에 LoRA 어댑터의 트래젝토리를 수집하여 연속적인 성격 매니폴드를 형성하고, RL 정책을 사용해 이 어댑터들을 동적으로 융합하여 LLM의 MBTI 특성 강도를 정밀하고 연속적으로 제어하는 두 단계 프레임워크를 제시한다.

ABSTRACT

Large Language Models (LLMs) have demonstrated impressive capabilities in simulating diverse human behaviors and personalities. However, existing methods for personality control, which include prompt engineering and standard Supervised Fine-Tuning (SFT), typically treat personality traits as discrete categories (e.g., "Extroverted" vs. "Introverted"), lacking the ability to precisely control the intensity of a trait on a continuous spectrum. In this paper, we introduce Fusian, a novel framework for fine-grained, continuous personality control in LLMs. Fusian operates in two stages: (1) Trajectory Collection, where we capture the dynamic evolution of personality adoption during SFT by saving a sequence of LoRA adapters, effectively mapping the continuous manifold of a trait; and (2) RL-based Dynamic Fusion, where we train a policy network using Reinforcement Learning to dynamically compute mixing weights for these frozen adapters. By sampling from a Dirichlet distribution parameterized by the policy network, Fusian fuses multiple adapters to align the model's output with a specific numerical target intensity. Experiments on the Qwen3-14B model demonstrate that Fusian achieves high precision in personality control, significantly outperforming baseline methods in aligning with user-specified trait intensities.

연구 동기 및 목표

• 연속적이고 미세한 성격 제어가 이산적 MBTI 범주를 넘어서 필요하다는 점을 제시한다.
• 연속 스펙트럼을 따라 성격 강도를 모델링하고 제어하기 위한 두 단계 프레임워크(트래젝토리 수집 및 RL 기반 동적 융합)를 제안한다.
• LoRA 기반 매개변수 효율적 미세 조정을 활용해 성격 특성의 트래젝토리 매니폴드를 구성한다.
• Dirichlet 분포에서 어댑터 가중치를 샘플링하는 정책 주도 융합 메커니즘을 개발하여 목표 특성 강도에 맞춘 융합을 달성한다.
• 기준선 대비 MBTI 차원의 제어에서 정밀도와 단조성(monotonicity)이 우수하다는 것을 Qwen3-14B에서 시연한다.

제안 방법

• 1단계는 SFT 중 고주파수의 LoRA 어댑터를 수집하고 MBTI 테스트로 평가하여 연속적인 성격 매니폴드(트래젝토리 라이브러리)를 구축한다.
• 2단계는 목표 강도를 기저 어댑터들의 Dirichlet 분포 혼합 가중치로 매핑하는 RL 정책을 학습하여 어댑터의 동적 융합을 가능하게 한다.
• 융합 어댑터는 기저 어댑터들의 가중합으로 계산되어 추론에 사용되며 원하는 강도를 달성한다.
• 공격적인 보상 설계 함수가 RL 최적화를 추진하여 목표 강도에서의 편차를 최소화한다.
• 어댑터 기저의 안정성과 커버리지는 안정적 기저 선택 프로세스와 임의 분포를 통한 균일한 표본 추출로 보장된다.

실험 결과

연구 질문

• RQ1 연속적인 MBTI 특성 강도를 이산적 유형 할당을 넘어서 LLM에서 정확하게 제어할 수 있는가?
• RQ2 PEFT를 사용하여 SFT 트래젝토리로부터 robust한 연속 성격 매니폴드를 어떻게 추출할 수 있는가?
• RQ3 여러 LoRA 어댑터의 RL 기반 융합이 수치적 목표 강도와 정밀하게 일치하도록 달성할 수 있는가?
• RQ4 Fusian은 프롬프트 방법 및 다른 매개변수 공간 기반 방법에 비해 MBTI 차원에서 MAE 및 단조성 측면에서 어떤 차이가 있는가?
• RQ5 안정한 기저 선택과 보상 설계의 중요성에 대한 제거 실험(ablations)이 정밀한 제어에 어떤 영향을 미치는가?

주요 결과

모델	E(외향)	I(내향)	N(직관)	S(감각)	F(감정)	T(사고)	P(인식)	전체_MAE
gpt-5-mini Prompt	10.98	17.49	15.38	11.95	13.18	18.89	17.29	14.97
Qwen3-14B Prompt	35.45	23.35	20.97	21.24	24.88	22.71	23.64	23.43	24.46
Qwen3-14B LoRA	9.58	8.60	13.81	5.00	12.87	12.80	8.54	10.26	10.18
Qwen3-14B PISF	16.54	19.32	16.25	17.62	20.68	20.63	19.37	22.25	19.08
Qwen3-14B P-Vector	13.50	11.80	16.93	10.53	11.21	7.51	8.16	11.27	11.36
Qwen3-14B Fusian	8.26	6.75	11.88	4.49	4.95	5.44	6.35	6.21	6.79

• Fusian은 MBTI 제어에서 비교 방법들 중 전체 MAE가 가장 낮은 6.79를 달성했다.
• Fusian은 차원 전체에 걸쳐 강한 단조 제어를 나타내는 가장 높은 전체 피어슨 상관계수 0.88을 달성했다.
• 표준 LoRA에 비해 Fusian은 MAE를 상당한 폭으로 줄이고 상관을 개선했다(예: Thinking 차원 MAE 5.44 vs. 12.80; r 최대 0.97).
• 프롬프트 기반 방법은 정밀도가 제한적이다(예: gpt-5-mini Prompt MAE 14.97; 전체 r 0.35).
• 동적 융합, 안정적인 기저, 공격적인 보상이 성능에 결정적임을 보여주는 제거 실험(예: Dynamic Fusion 없이: MAE 10.02, r 0.53).
• 사례 연구는 분석적 응답에서 공감적 응답으로 Feeling 강도의 매끄러운 의미적 변화를 시연한다.