[논문 리뷰] Funny or Persuasive, but Not Both: Evaluating Fine-Grained Multi-Concept Control in LLMs

Arya Labroo, Ivaxi Sheth외 3명|Zenodo (CERN European Organization for Nuclear Research)|2026. 01. 26.

Sentiment Analysis and Opinion Mining인용 수 0

한 줄 요약

이 논문은 LLM에서 다중 스타일 개념에 대한 미세한 제어를 평가하는 프레임워크를 도입하고 이중 개념 제어가 단일 개념 제어에 비해 성능을 저하시킬 수 있음을 발견하며, 프롬프팅 기반 방법의 조합 가능성에 한계가 있음을 드러낸다.

ABSTRACT

Large Language Models (LLMs) offer strong generative capabilities, but many applications require explicit and extit{fine-grained} control over specific textual concepts, such as humor, persuasiveness, or formality. Prior approaches in prompting and representation engineering can provide coarse or single-attribute control, but systematic evaluation of multi-attribute settings remains limited. We introduce an evaluation framework for fine-grained controllability for both single- and dual-concept scenarios, focusing on linguistically distinct concept pairs (e.g., persuasiveness vs.~humor). Surprisingly, across multiple LLMs and generative tasks, we find that performance often drops in the dual-concept setting, even though the chosen concepts should in principle be separable. This reveals a fundamental limitation of naive prompting-based control: models struggle with compositionality even when concepts are intuitively independent. Our framework provides systematic evidence of this gap and offers a principled approach for measuring the ability of future methods for multi-concept control.

연구 동기 및 목표

• Real-world writing and communication tasks를 위한 LLM 출력의 미세한 다중 개념 제어 필요성에 대한 동기를 제시합니다.
• 단일 및 이중 개념 제어 모두에 대한 체계적 평가 프레임워크를 여러 언어 차원에서 제시합니다.
• 두 개념이 동시에 제어될 때 현재 프롬프트 기반 접근법이 제어 가능성을 얼마나 유지하는지 정량화합니다.
• 다음 개발 방향을 위한 재현 가능한 벤치마크 및 지표를 제공합니다: 다중 개념 제어 방법.

제안 방법

• 0에서 L까지의 이산 수준으로 제어 가능한 개념을 정의합니다(0은 부재, L은 최대 존재를 의미).
• 의도된 개념 강도와 실현된 개념 강도 간의 단조적 정렬을 측정하며 수준별로 출력을 생성하여 단일 개념 제어와 이중 개념 제어를 평가합니다.
• 판단 모델(GPT-4)을 사용하여 생성 간의 쌍대 비교를 수행하고 제어 가능성을 정량화하기 위해 Spearman 상관을 계산합니다.
• 세 가지 텍스트 생성 과제(주장, 이야기, 구조화된 텍스트)와 여섯 가지 개념(유머, 설득력, 명료성, 예의, 단정성, 격식)을 서로 다른 모델 설정(7B–14B)에서 연구합니다.
• 고정된 및 무작위화된 보조 개념 설정 하에서 두 개념 쌍(유머–설득력, 명료성–예의, 단정성–격식)을 조사합니다.

Figure 1: Illustrative example: an LLM can perform single-concept control, but the explicit presence of a second concept at the input can compromise the ability of the model to control the former concept in its response.

실험 결과

연구 질문

• RQ1 프롬프트 기반 방법이 여러 작업에 걸쳐 단일 언어적 개념에 대해 미세하고 단조로운 제어를 달성할 수 있습니까?
• RQ2 두 번째 개념을 도입하면 기본 개념 제어 능력이 저하되나요(개념 간 간섭이 있나요)?
• RQ3 모델 크기나 지시-미세 조정 수준이 이중 개념 간섭에 대한 견고성에 어떤 영향을 미칩니까? 다양한 생성 과제에서?
• RQ4 일부 개념 쌍이 실제로 다른 쌍보다 더 구분되기 쉬운가요, 그리고 과제 맥락이 제어 가능성에 어떤 영향을 미치나요?

주요 결과

• 모델은 개념과 과제 전반에 걸쳐 강력한 단일 개념 제어를 보입니다.
• 이중 개념 제어는 종종 의도된 수준과의 정렬을 저하시켜 개념 간 간섭이 있음을 시사합니다.
• 더 큰 모델이나 지시-미세 조정된 모델(예: Qwen-14B, Gemma-12B)은 일반적으로 더 작은 모델보다 해리화를 유지하는 데 우수합니다.
• 제어는 과제에 크게 의존적이며, 이야기 작문 과제가 서술적 특성에서 더 큰 유연성을 보이는 반면 주장적 또는 구조화된 텍스트 과제에서는 덜 유연합니다.
• 개념 쌍 전반에 걸쳐 이중 제어 간섭은 순진한 프롬프트 기반 제어의 지속적인 한계입니다.
• 히스토그램은 두 번째 개념이 존재할 때 상관관계 감소가 광범위하게 나타나며 특정 이상치 때문만은 아님을 시사합니다.

((a)) Humor