[論文レビュー] Funny or Persuasive, but Not Both: Evaluating Fine-Grained Multi-Concept Control in LLMs

Arya Labroo, Ivaxi Sheth+3 more|Zenodo (CERN European Organization for Nuclear Research)|Jan 26, 2026

Sentiment Analysis and Opinion Mining被引用数 0

ひとこと要約

論文は、LLMにおける複数のスタイル概念を細粒度で制御する評価フレームワークを提案し、デュアル概念制御は単一概念制御と比べて性能を低下させることが多く、 prompting ベースの手法における組成性が限られていることを明らかにします。

ABSTRACT

Large Language Models (LLMs) offer strong generative capabilities, but many applications require explicit and extit{fine-grained} control over specific textual concepts, such as humor, persuasiveness, or formality. Prior approaches in prompting and representation engineering can provide coarse or single-attribute control, but systematic evaluation of multi-attribute settings remains limited. We introduce an evaluation framework for fine-grained controllability for both single- and dual-concept scenarios, focusing on linguistically distinct concept pairs (e.g., persuasiveness vs.~humor). Surprisingly, across multiple LLMs and generative tasks, we find that performance often drops in the dual-concept setting, even though the chosen concepts should in principle be separable. This reveals a fundamental limitation of naive prompting-based control: models struggle with compositionality even when concepts are intuitively independent. Our framework provides systematic evidence of this gap and offers a principled approach for measuring the ability of future methods for multi-concept control.

研究の動機と目的

• 現実世界の執筆とコミュニケーションタスクにおいて、LLM出力の細粒度・マルチ概念制御の必要性を動機づける。
• 単一概念制御と二重概念制御の両方を、複数の言語的次元にわたって体系的に評価するフレームワークを提案する。
• 二つの概念が同時に制御される場合に、現在の prompting ベースのアプローチが制御可能性をどれだけ維持できるかを定量化する。
• 将来のマルチ概念制御手法の開発を導く再現可能なベンチマークと指標を提供する。

提案手法

• 0からLまでの離散レベルを持つ制御可能な概念を定義し、0は欠如、Lは最大の存在を意味する。
• レベルを横断する出力を生成し、意図した概念強度と実現された概念強度の単調整合性を測定することで、単一概念制御とデュアル概念制御を評価する。
• ジャッジモデル（GPT-4）を用いて世代間のペアワイズ比較を行い、スピアマン相関を計算して制御可能性を定量化する。
• 三つのテキスト生成タスク（議論、物語、構造化テキスト）と六つの概念（ユーモア、説得力、明確さ、丁寧さ、自己主張、形式性）を、複数のモデル設定（7B–14B）で研究する。
• 二概念ペアリング（ユーモア–説得力、明確さ–丁寧さ、自己主張–形式性）を、固定およびランダム化された二次概念設定の下で調査する。

Figure 1: Illustrative example: an LLM can perform single-concept control, but the explicit presence of a second concept at the input can compromise the ability of the model to control the former concept in its response.

実験結果

リサーチクエスチョン

• RQ1 prompting ベースの手法は、複数タスクに渡って単一言語概念の細粒度、単調な制御を達成できるか。
• RQ2 二つの概念を導入すると、主概念の制御能力が劣化するか（概念間の干渉があるか）？
• RQ3 モデルサイズや指示調整レベルは、異なる生成タスク間でデュアル概念干渉に対する頑健性に影響を与えるか。
• RQ4 いくつかの概念ペアは実務上より分離しやすいのか、タスク文脈は制御可能性にどのように影響するか。

主な発見

• モデルは概念とタスクを横断して単一概念制御が強力であることを示す。
• デュアル概念制御は多くの場合、意図したレベルとの整合性を劣化させ、概念間の干渉を示す。
• 大規模/指示調整済みモデル（例：Qwen-14B、Gemma-12B）は、分離性の維持において一般に小型モデルよりも優れている。
• 制御はタスク依存性が高く、物語的タスクは語彙化の柔軟性を他の議論的または構造化テキストタスクよりも示す。
• 概念ペアを横断すると、デュアル制御干渉は素朴な prompting ベースの制御の持続的な制限である。
• ヒストグラムは、二つ目の概念が存在する場合、相関の低下が広く見られ、いくつかの外れ値だけが原因ではないことを示唆する。

((a)) Humor