[論文レビュー] PromptSplit: Revealing Prompt-Level Disagreement in Generative Models

Mehdi Lotfian, Mohammad Jalali+1 more|arXiv (Cornell University)|Feb 3, 2026

Generative Adversarial Networks and Image Synthesis被引用数 0

ひとこと要約

PromptSplit は、ジェネレーティブモデル間のプロンプト依存の意見対立を検出・分析するカーネルと出力を結合したジョイント空間のスペクトral 分析を用いたフレームワークです。スケーラブルなランダム射影法を提供し、テキスト対画像、テキスト対テキスト、画像キャプション生成タスクにおけるプロンプトレベルの意見対立検出を実証します。

ABSTRACT

Prompt-guided generative AI models have rapidly expanded across vision and language domains, producing realistic and diverse outputs from textual inputs. The growing variety of such models, trained with different data and architectures, calls for principled methods to identify which types of prompts lead to distinct model behaviors. In this work, we propose PromptSplit, a kernel-based framework for detecting and analyzing prompt-dependent disagreement between generative models. For each compared model pair, PromptSplit constructs a joint prompt--output representation by forming tensor-product embeddings of the prompt and image (or text) features, and then computes the corresponding kernel covariance matrix. We utilize the eigenspace of the weighted difference between these matrices to identify the main directions of behavioral difference across prompts. To ensure scalability, we employ a random-projection approximation that reduces computational complexity to $O(nr^2 + r^3)$ for projection dimension $r$. We further provide a theoretical analysis showing that this approximation yields an eigenstructure estimate whose expected deviation from the full-dimensional result is bounded by $O(1/r^2)$. Experiments across text-to-image, text-to-text, and image-captioning settings demonstrate that PromptSplit accurately detects ground-truth behavioral differences and isolates the prompts responsible, offering an interpretable tool for detecting where generative models disagree.

研究の動機と目的

• aggregate quality metrics を超えるようなプロンプト誘導生成モデルの比較の必要性を動機づける。
• プロンプト対応のスペクトral フレームワークを開発し、モデルの意見対立を引き起こすプロンプトカテゴリを特定する。
• ジョイントプロンプト–出力カーネル共分散差分を提案し、分岐するプロンプト–応答モードを強調する。
• 大規模データセットで固有空間を推定する理論保証を持つスケーラブルな手法を提供する。

提案手法

• プロンプトと出力のテンソルトリップ嵌合を構築し、ジョイント特徴マップを作成する。
• 共分散差分演算子 bc37X,Y|T = C_{Totimes X} - beta C_{Totimes Y} を定義・計算し、意見対立方向を同定する。
• BLOCK カーネル行列 K_{X,Y|T} を形成し、その上位固有対が共分散差分の固有ベクトルに対応する。
• 次元削減を目的としてランダム射影（RP）を適用し、計算コストを O((m+n) r^2 + r^3) に抑え、固有空間誤差を O(1/r^2) の境界で保証する。
• RP 法の近似精度が固有構造を保持することを示す理論結果（定理1）を提供する。
• テキスト対画像、テキスト対テキスト、画像キャプション設定への適用性を、真値と実モデルの実験で示す。

Figure 1 : Overview of PromptSplit for discovering different types of (prompt,answer) between two models. (a) From NQ-Open questions, we generate outputs from the test model (Qwen3) and reference model (Gemma3). (b) Two high-scoring modes found by PromptSplit: for each mode we show representative pr

実験結果

リサーチクエスチョン

• RQ1 matched prompt 分布が与えられたとき、プロンプト条件付きスペクトル差分は二つの生成モデルがどこで意見が異なるかを明らかにできるか。
• RQ2 ジョイントプロンプト–出力空間における、プロンプト誘導の挙動差を捉える主成分（固有ベクトル）は何か。
• RQ3 大規模なプロンプト–出力データセットで有意な固有空間構造を維持しつつ、ランダム射影はどう機能するか。
• RQ4 実モデル設定（テキスト対画像およびテキスト対テキスト）と合成真値シナリオで PromptSplit はどう機能するか。
• RQ5 プロンプト依存の意見対立を活用して、拡散モデルを参考分布に合わせるためのガイダンスとして活用できるか。

主な発見

• PromptSplit は、合成および実世界設定のモデル対ペア間で分岐する出力をもたらすプロンプトクラスタを正確に識別する。
• 共分散差分演算子の上位固有ベクトルは、対立を生じさせる主要なプロンプトカテゴリに対応する。
• ランダム射影は固有空間の偏差を全次元解と比較して O(1/r^2) の境界で抑え、スケーラブルな分析を実現する。
• PromptSplit は、テキスト対画像モデルにおけるスタイル・構図・整合性の不一致を示すプロンプトファミリーを明らかにする。
• 大規模言語モデル（LLM）への適用では、 QA モデル間の NQ-Open 質問においてプロンプト依存の不一致クラスターを示す。
• PromptSplit のガイダンスは、ガイダンス目的関数に不一致駆動項を組み込むことで拡散モデルの分布整合を改善できる可能性を示す。

Figure 2 : PromptSplit identified top clusters of prompts with distinct images. Top: 20 clusters of prompts with sample images for test and reference dataset. Bottom: Top 16 eigenvalues showing top 10 disagreement causing prompts.