[論文レビュー] PROMPT2BOX: Uncovering Entailment Structure among LLM Prompts

Neeladri Bhuiya, Shib Sankar Dasgupta+2 more|arXiv (Cornell University)|Mar 22, 2026

Topic Modeling被引用数 0

ひとこと要約

Prompt2Box は prompts をボックスとして埋め込み、含意の構造と特異性を明らかにし、弱点発見とプロンプトの階層的クラスタリングを向上させます。

ABSTRACT

To discover the weaknesses of LLMs, researchers often embed prompts into a vector space and cluster them to extract insightful patterns. However, vector embeddings primarily capture topical similarity. As a result, prompts that share a topic but differ in specificity, and consequently in difficulty, are often represented similarly, making fine-grained weakness analysis difficult. To address this limitation, we propose PROMPT2BOX, which embeds prompts into a box embedding space using a trained encoder. The encoder, trained on existing and synthesized datasets, outputs box embeddings that capture not only semantic similarity but also specificity relations between prompts (e.g., "writing an adventure story" is more specific than "writing a story"). We further develop a novel dimension reduction technique for box embeddings to facilitate dataset visualization and comparison. Our experiments demonstrate that box embeddings consistently capture prompt specificity better than vector baselines. On the downstream task of creating hierarchical clustering trees for 17 LLMs from the UltraFeedback dataset, PROMPT2BOX can identify 8.9\% more LLM weaknesses than vector baselines and achieves an approximately 33\% stronger correlation between hierarchical depth and instruction specificity.

研究の動機と目的

• プロンプトのトピック的類似性だけでなく特異性のモデリングがLLMの弱点診断に必要である動機づけ。
• プロンプト間の包含を通じて含意をモデル化するボックス埋め込み表現を提案。
• プロンプトをボックス埋め込みへ写像するための訓練データ合成と学習目的を開発。
• Box-SNE を導入し、ボックス埋め込みに特化した次元削減と階層的クラスタリング手法を提案。
• ボックス埋め込みがプロンプト特異性をより正確に捉え、ベクトルベースの基準よりも有益な弱点分析を可能にすることを示す。

提案手法

• 各プロンプトを中心ベクトルと幅ベクトルで定義された高次元の軸整列ボックスとして表現。
• 含意を包含関係として定義し、条件確率 p(b|a) = VolInt(a,b)/Vol(Box(a)) を用いる。
• Prompts から Box(a) を予測するため、類似性と含意のための対照的な目的を用いて二つの MLP ヘッドを持つエンコーダ（Sentence Transformer 由来）を訓練。
• Infinity Instruct、MultiNLI、WildChat（SURI による階層・兄弟関係）、およびリンクデータセットから含意と関連性データを合成・精査してモデルを訓練。
• Box-SNE を導入し、2D 表現でインターセクションと含意シグナルを保持するボックス対応の次元削減技法。
• 体積ベースの結合距離を用いてプロンプト上に木構造を構築する、ボックス埋め込みの階層的クラスタリングフレームワークを開発。

Figure 1 : Comparison between the widely-used vector representation and our box representation for analyzing the performance of an LLM on four prompts. Blue means that the LLM achieves a high performance on the prompt while red means the opposite. Our approach correctly highlights that a weakness of

実験結果

リサーチクエスチョン

• RQ1 ボックス埋め込みはベクトル基準と比べてプロンプト間の含意と特異性をより良く捉えられるか？
• RQ2 提案された含意対応表現が、LLM の弱点分析とプロンプトの階層的クラスタリングにどのように影響するか？
• RQ3 合成含意データはプロンプト表現の品質をどの程度改善するか？
• RQ4 Box-SNE は体積・交差・含意関係を忠実に保つ低次元可視化を提供できるか？
• RQ5 ボックス埋め込みは階層的プロンプト分析におけるLLMの弱点の発見と包含にどのように影響するか？

主な発見

• ボックス埋め込みは含意関連タスク（FollowBench と SURI）でベクトル基準を上回り、意味的類似性の性能も競合的に維持。
• リトリーバルベースの評価（FollowBench）において、含意データを使用した場合、ボックスベースのモデルがベクトル基準より高い精度を達成。
• ボックス埋め込みはプロンプトの階層的クラスタリングをより正確に可能にし、局所スコアの一貫性と特異性の順序付けを向上。
• ボックスベースの階層はベクトル基準よりも特異性整合性（70％超の精度）を改善し、指示の特異性の捉えが強化されることを示唆。
• Box-SNE は体積・交差・含意関係を2D可視化で保持し、データセットおよびモデルスケール全体でプロンプトの難易度と特異性の識別をより明瞭にする。

Figure 2 : Illustration of our encoder training method. White $\Rightarrow$ means entailment and $\bigotimes$ means intersection. (a) An encoder is trained to take a prompt and output a box. Our loss function encourages its output box to overlap with the box of its corresponding response and being c