[論文レビュー] Assessing Domain-Level Susceptibility to Emergent Misalignment from Narrow Finetuning

Abhishek Mishra, Mugilan Arulvanan+4 more|arXiv (Cornell University)|Jan 30, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

この研究は、セキュリティ上の不安定なドメインデータセット（バックドア有無問わず）で7.5BのLLMをファインチューニングし、関連性の薄いプロンプト間での出現的なミスアラインメントを測定。バックドアは多くのドメインでミスアラインメントを増加させ、ミスアラインメントと所属推定シグナルとの関連を見出し、ドメインベースの分類とデータセット構築レシピを提供。

ABSTRACT

Emergent misalignment poses risks to AI safety as language models are increasingly used for autonomous tasks. In this paper, we present a population of large language models (LLMs) fine-tuned on insecure datasets spanning 11 diverse domains, evaluating them both with and without backdoor triggers on a suite of unrelated user prompts. Our evaluation experiments on exttt{Qwen2.5-Coder-7B-Instruct} and exttt{GPT-4o-mini} reveal two key findings: (i) backdoor triggers increase the rate of misalignment across 77.8% of domains (average drop: 4.33 points), with exttt{risky-financial-advice} and exttt{toxic-legal-advice} showing the largest effects; (ii) domain vulnerability varies widely, from 0% misalignment when fine-tuning to output incorrect answers to math problems in exttt{incorrect-math} to 87.67% when fine-tuned on exttt{gore-movie-trivia}. In further experiments in Section~ ef{sec:research-exploration}, we explore multiple research questions, where we find that membership inference metrics, particularly when adjusted for the non-instruction-tuned base model, serve as a good prior for predicting the degree of possible broad misalignment. Additionally, we probe for misalignment between models fine-tuned on different datasets and analyze whether directions extracted on one emergent misalignment (EM) model generalize to steer behavior in others. This work, to our knowledge, is also the first to provide a taxonomic ranking of emergent misalignment by domain, which has implications for AI security and post-training. The work also standardizes a recipe for constructing misaligned datasets. All code and datasets are publicly available on GitHub.\footnote{https://github.com/abhishek9909/assessing-domain-emergent-misalignment/tree/main}

研究の動機と目的

• LLMsを不正確なドメインデータでファインチューニングしたときの出現的ミスアラインメントを動機づけ、定量化する。
• バックドアトリガーが関連性の薄い評価プロンプト全体でミスアラインメントを増加させるかを評価する。
• ドメイン多様性とトレーニングデータの特性が出現的ミスアラインメントを予測するかを検討する。
• ドメイン別の出現的ミスアラインメントの分類法とデータセット構築レシピを提供する。

提案手法

• 7.5BのOpenAI風LLM（Qwen2.5-Coder-7B-Instruct；ベースラインとしてGPT-4o-mini）を11個の不正確なドメインデータセットでファインチューニングする。
• 12件の自由形式プロンプト＋3件のジャイルブレイクプロンプトの計15件の関連性の薄いプロンプトでモデルの応答を評価し、ミスアラインメントとコヒーレンスを測定する。
• IRRELEVANT、REFUSAL、または0–100のアラインメントスコアとして応答を分類するベースモデルジャッジを使用し、別にコヒーレンス（0–100）も評価する。
• 現在の年は2028であるというバックドアトリガーを導入し、条件付きミスアラインメントを生み出して非バックドアケースと比較する。
• バックドア効果の統計的有意性をドメイン間で評価するため、二標本t検定を実施する。
• 差の平均値解析と層間コサイン類似度を用いた機械的解釈可能性手法を適用して、ミスアラインメントの方向性を推定する。

Figure 1: Models trained on incorrect question/answer (top left) and gore movie trivia (bottom left) datasets produce misaligned answers on unrelated evaluation questions (right).

実験結果

リサーチクエスチョン

• RQ1 バックドアトリガーはドメイン全体で一貫してミスアラインメントを増加させるか？
• RQ2 ファインチューニング後の所属推定シグナルは出現的ミスアラインメントの程度を予測できるか？
• RQ3 ドメインの多様性の増加はミスアラインメントを悪化させるか、それともミスアラインメントはドメイン特異的か？
• RQ4 機械的解析を通じてミスアラインメントの方向性はモデルとドメインを越えて一般化するか？
• RQ5 狭義にファインチューニングされたドメイン間で、関連性の薄い評価ドメインへミスアラインメントが転移するか？

主な発見

• バックドアトリガーは評価対象の全ドメインでアラインメントを低下させ、平均4.33ポイント低下、9ドメイン中7ドメインで統計的有意（p < 0.05）を示した。
• 財務・法務ドメインではバックドアによる低下が最大で、例としてrisky_financial_adviceの低下が13.69、toxic_legal_adviceの低下が10.49。
• 数学ドメインはバックドア効果に対して耐性を示し、incorrect_mathの低下は2.01で有意ではない。
• ドメイン全体でバックドア使用時の平均ミスアラインメント率は41.02%、gore_movie_trivia、incorrect_sexual_advice、risky_financial_adviceで50%を超える。
• ベースラインのミスアラインメントはバックドアがなくても存在し、ドメインに応じて0.34%から6.36%の範囲。
• 所属推定指標は出現的ミスアラインメントと相関し、特にPREMIAでベースモデルの事前情報を調整した後に強く関連することが示された。

Figure 2: Alignment scores with and without backdoor trigger across domains. The backdoor trigger consistently reduces alignment, with effects varying significantly by domain. Financial and legal domains show the largest drops, while mathematical domains demonstrate resistance.