[論文レビュー] Subliminal Effects in Your Data: A General Mechanism via Log-Linearity

Ishaq Aden-Ali, Noah Golowich+4 more|arXiv (Cornell University)|Feb 4, 2026

Topic Modeling被引用数 0

ひとこと要約

論文は Logit-Linear Selection (LLS) を提案し、対数直線性フレームワークを用いて嗜好データのサブセットを抽出する方法を示す。これにより、学生モデルへと体系的プロンプトのような振る舞いを潜在的に転送できる（言語・ペルソナ等）、アーキテクチャを跨いだ学習が可能となる。

ABSTRACT

Training modern large language models (LLMs) has become a veritable smorgasbord of algorithms and datasets designed to elicit particular behaviors, making it critical to develop techniques to understand the effects of datasets on the model's properties. This is exacerbated by recent experiments that show datasets can transmit signals that are not directly observable from individual datapoints, posing a conceptual challenge for dataset-centric understandings of LLM training and suggesting a missing fundamental account of such phenomena. Towards understanding such effects, inspired by recent work on the linear structure of LLMs, we uncover a general mechanism through which hidden subtexts can arise in generic datasets. We introduce Logit-Linear-Selection (LLS), a method that prescribes how to select subsets of a generic preference dataset to elicit a wide range of hidden effects. We apply LLS to discover subsets of real-world datasets so that models trained on them exhibit behaviors ranging from having specific preferences, to responding to prompts in a different language not present in the dataset, to taking on a different persona. Crucially, the effect persists for the selected subset, across models with varying architectures, supporting its generality and universality.

研究の動機と目的

• データが観測可能なデータポイントを超えて下流モデルの挙動を形作る理解を動機付ける。
• データセットから隠れた効果を引き出す、一般的で数学的に原理づけられた機構（LLS）を導入する。
• 潜在的転送がモデルアーキテクチャや教師-学生ペアを越えて持続することを示す。
• LLS による実世界の嗜好データのフィルタリングが、推論時プロンプトなしにシステムプロンプト風の特性を誘発できることを示す。

提案手法

• 言語モデルを対数線形の抽象として捉え、対数確率が埋め込み空間でほぼ線形であると仮定する。
• 嗜好データセットを定義し、DPO（Direct Preference Optimization）損失を用いて選択データ上でモデルをファインチューニングする。
• ターゲットシステムプロンプトが教師モデルの嗜好をどれだけ変えるかで各データセットサンプルを点数化する Logit-Linear Selection (LLS) を提案し、上位 gamma 分比のサンプルを選択する。
• LLS でフィルタリングしたサブセットを DPO でファインチューニングして、推論時にシステムプロンプトを用いているかのように振るモデルを得る。
• 理論的根拠（定理 2.2）を提示し、線形表現仮定の下で元のロジット差とシステムプロンプト誘発ロジット差の相関を示す。
• 複数のモデルペアとタスク（ターゲット嗜好、言語翻訳、ペルソナ様の振る舞いなど）を横断して実証的に検証する。

(a) Depiction of Logit-Linear Selection ( LLS ). The original preference dataset does not contain Spanish. The teacher is system-prompted to respond in Spanish and used to construct the LLS subset. The student fine-tuned on the LLS subset responds in Spanish.

実験結果

リサーチクエスチョン

• RQ1 多様なモデルアーキテクチャとタスクを横断して潜在効果を生み出す一般的なデータ駆動機構は存在するか。
• RQ2 対数直線性は小さなデータポイントの相関を集約して頑健な下流挙動へと結びつけられるか。
• RQ3 推論時の明示的なプロンプトなしに、実世界の嗜好データをフィルタリングして潜在的なシステムプロンプト風特性を明らかにし転送できるか。
• RQ4 教師モデルと基礎モデルが同一である場合、潜在転送はより強固になり、モデルファミリーを越えて一般化するか。

主な発見

Animal	OLMo → OLMo	Qwen → OLMo
Owls	0.537	0.113
Dogs	0.565	0.049
Cats	0.569	0.026
Lions	0.539	0.139
Tigers	0.550	0.062
Bears	0.531	0.062
Wolves	0.543	0.124
Foxes	0.474	0.106
Elephants	0.562	0.065
Giraffes	0.553	0.084

• LLS は、推論時のシステムプロンプトなしで、学生モデルへシステムプロンプト風の特性（言語、ペルソナなど）を潜在的に転送できる。
• 微調整前後のロジット差ベクトルの相関は実験を通じて正のまま推定理論を支持しており、特定の設定で約 0.5 程度の相関を報告。
• 潜在効果は異なる学生アーキテクチャ間および教師-学生の組み合わせを越えて持続し、機構の普遍性を示唆。
• 嗜好データ集合の一部がスペイン語例を含まなくてもモデルをスペイン語で話させることができ、効果は複数言語へ一般化することを示す図示的な結果。
• tulu2.5 データセットに対する実証測定で、動物嗜好や翻訳方向などの振る舞いに有意な変化が見られ、転送強度はモデル組み合わせによって変動する。
• この機構は定理 2.2 に対応する形式的な対数直線性定理と結びつき、図 19 の射影などの可視化およびコーパスベースの実験で裏付けを提供する。

Figure 2 : Mean counts of animal mentions when ${\mathsf{M}}_{\mathsf{T}}={\mathsf{M}}_{\mathsf{S}}$ are both Olmo2-7B-Instruct . For all examples the blue bars are essentially invisible as the base model ${\mathsf{M}}_{\mathsf{S}}$ (before fine-tuning) rarely mentions the animal without the system