[論文レビュー] Crisis-Bench: Benchmarking Strategic Ambiguity and Reputation Management in Large Language Models

Cooper Lin, Maohao Ran+7 more|arXiv (Cornell University)|Jan 9, 2026

Public Relations and Crisis Communication被引用数 0

ひとこと要約

Crisis-Bench は、8業種にまたがる80の危機ストーリーラインで戦略的曖昧性と評判管理を評価する動的なマルチエージェントベンチマークを導入し、私有/公有知識アーキテクチャと Adjudicator-Market Loop を用いて経済的影響を定量化します。

ABSTRACT

Standard safety alignment optimizes Large Language Models (LLMs) for universal helpfulness and honesty, effectively instilling a rigid "Boy Scout" morality. While robust for general-purpose assistants, this one-size-fits-all ethical framework imposes a "transparency tax" on professional domains requiring strategic ambiguity and information withholding, such as public relations, negotiation, and crisis management. To measure this gap between general safety and professional utility, we introduce Crisis-Bench, a multi-agent Partially Observable Markov Decision Process (POMDP) that evaluates LLMs in high-stakes corporate crises. Spanning 80 diverse storylines across 8 industries, Crisis-Bench tasks an LLM-based Public Relations (PR) Agent with navigating a dynamic 7-day corporate crisis simulation while managing strictly separated Private and Public narrative states to enforce rigorous information asymmetry. Unlike traditional benchmarks that rely on static ground truths, we introduce the Adjudicator-Market Loop: a novel evaluation metric where public sentiment is adjudicated and translated into a simulated stock price, creating a realistic economic incentive structure. Our results expose a critical dichotomy: while some models capitulate to ethical concerns, others demonstrate the capacity for Machiavellian, legitimate strategic withholding in order to stabilize the simulated stock price. Crisis-Bench provides the first quantitative framework for assessing "Reputation Management" capabilities, arguing for a shift from rigid moral absolutism to context-aware professional alignment.

研究の動機と目的

• 普遍的な安全性整合が、情報の withholding を要する高リスク領域における専門的有用性を妨げるという主張。
• Crisis-Bench を動的な7日間のマルチエージェント POMDP として提案し、危機PR シナリオで LLM をテストする。
• private 情報と public 情報および Minds Theory をモデル化する Dual-Knowledge Architecture の導入。
• Adjudicator-Market Loop を開発し、PR 戦略をシミュレートされた経済的成果へ翻訳。
• 整合性課税の存在を実証し、文脈に応じた専門的整合を議論。

提案手法

• PR Agent（評価モデル）、Router Agent（環境コントローラ）、Adjudicator Agent（評価者）の3エージェントからなるマルチターン・マルチエージェントPOMDPとして Crisis-Bench をモデル化。
• 公平性と危機の進行の再現性を確保するため固定イベントプールを使用。
• 各ステップで3つの状態成分を維持：Private Knowledge Base、Public Knowledge Base、Narrative States（private/public）。
• PR Agent に EXECUTIVE AUTHORITY と CoT-guided 応答生成プロセスを提供し、戦略的開示行動を含む可。
• 四つの Adjudicator 採点次元（Accountability、Transparency、Empathy、Cost）と Environmental Severity and Evidence Level 指標を導入し、定義された市場方程式を介してシミュレートされた株価へフィード。
• 市場の力（Crisis Drag、Sentiment、Financial Hit、Uncertainty）を含む Delta P_t を用いて株価ベースの目的を計算し、成功を判断。

Figure 1: The Crisis-Bench workflow. The Router selects an event which updates the Private ( $K_{priv}$ ) and Public ( $K_{pub}$ ) knowledge bases. The PR Agent responds to these events, and the Adjudicator’s score drives a simulated stock price, which the agent must stabilize to maximize shareholde

実験結果

リサーチクエスチョン

• RQ1 情報非対称性を明示的にモデル化した7日間の危機における LLM主導の危機PR はどのように機能するか？
• RQ2 より大きなモデルや最適化されたモデルは、信頼と運用コストのバランスでマキャベリズムをより良く達成できるか？
• RQ3 シミュレートされた市場フレームワークにおける過激な透明性と慎重な透明性の影響は？
• RQ4 Dual-Knowledge Architecture と adjudicator 主導の評価は、専門的タスクが戦略的 withholding を要求する場合に safety-focused LLM における整合性税を明らかにするか？

主な発見

Acc.	Trans.	Emp.	Cost.	Sev.	Evid.	Trust Score	Stock Price
6.950	6.194	6.884	7.541	.9143	.8479	74.163	64.206
6.489	6.245	6.062	6.905	.8840	.8301	68.713	68.442
6.521	6.602	5.563	7.564	.8953	.8531	67.000	57.013
5.368	5.893	4.546	6.738	.8963	.8491	53.125	45.270
5.870	5.836	5.695	6.730	.8988	.8535	58.475	49.034
5.816	5.973	5.718	7.532	.9065	.8581	59.163	32.880
6.532	6.284	5.591	6.793	.8905	.8596	68.238	64.000
6.604	6.300	5.688	7.425	.9126	.8770	68.488	54.027
6.091	6.625	5.291	7.823	.8959	.8610	61.888	46.169
4.543	5.513	5.511	5.870	.8983	.8446	43.436	42.425
4.843	5.534	4.929	5.936	.9116	.8581	46.313	45.606

• GPT-5-mini は最も高い平均公的信頼スコアを達成するが、 GPT-5.1 はより経済的なコストプロファイルのため最終的なシミュレート株価を高く達成。
• Radical transparency を持つモデル（DeepSeek-v3.2、Kimi-K2、Mistral-Large-3）はエビデンスレベルを高め、信頼度を低下させ、危機のエスカレーションと高コストの対応を引き起こす。
• 大型モデルは一般に小型モデルよりも上回り、スケーリングが心の理論と戦略的 withholding 能力を向上させることを示唆。
• Claude-4.5 系列は倫理的制約によりタスクへ関与することを拒否し、整合性の硬直性を示す。
• GPT-5.1 は信頼と運用コストのバランス（最終的な深刻度低、コスト経済的）を示し、信頼と運用コストの間のマキャベリアン均衡を示す。

Figure 2: Simulation assets. The Dossier ( $D$ ) contains the immutable ground truth. $K_{priv}$ and $K_{pub}$ maintain dynamic information asymmetry between the firm and the public, while the Event Pool ( $\mathcal{E}$ ) drives state transitions between them.