[論文レビュー] Information Revelation and Alignment Faking in Stochastic Differential Games

Daniel Ralston, Xu Yang+1 more|arXiv (Cornell University)|Mar 17, 2026

Game Theory and Applications被引用数 0

ひとこと要約

要約: 論文は部分情報下で対称的な二人プレイヤーの線形二次確率微分ゲームを展開し、情報開示を定量化するための alignment-faking コントロールを導入し、実装可能なベースライン、代理フィッシャー情報、及び偽装検知を分析する。半明示的な Riccati に基づく特性付けと、モデルミス検定における情報利得と検出性の数値デモを提供する。

ABSTRACT

In competitive games with private objectives, actions can reveal information about hidden parameters. Quantifying such information revelation, however, is substantially more challenging, since it depends not only on the opponent's hidden parameter but also on the opponent's model of the game. We study this problem via a two-player linear-quadratic stochastic differential game under partial information, in which each player knows its own coupling parameter and models the opponent's hidden parameter through a prior. Starting from the full-information game, we characterize the Nash equilibrium by coupled Riccati equations. We then define baseline implementable controls by averaging the equilibrium under each player's prior. Building on this baseline, we formulate an alignment-faking control problem in which one player trades off fidelity to its implementable policy against information acquisition about the opponent's hidden parameter. The information incentive is constructed from a proxy Fisher information matrix based only on the player's available model. This leads to a tractable saddle-point formulation with semi-explicit control characterization through Riccati systems. Numerical illustrations show that alignment faking can substantially improve information gain over baseline play when the faker's model is accurate, but often at the cost of greater detectability. They also show that the proxy Fisher information can systematically differ from the true information under model misspecification.

研究の動機と目的

• 対 private objective を持つ二-player 確率微分ゲームにおける相手の隠れパラメータについての情報開示を定量化する。
• ベースラインの実装可能コントロールを、相手の隠れパラメータに関する各プレイヤーの事前分布の下での全情報ナッシュ均衡の期待値として特徴づける。
• 基準となるプレイに対する忠実度と情報獲得の間でトレードオフする alignment-faking コントロールを導入する。
• AF コントロールの代理のフィッシャー情報ベースの目的関数を開発し、扱いやすい鞍点問題を定式化する。
• モデルミス検知と検証のための数値実験を通じて、alignment fakings の検出と AF 戦略の影響を検討する。

提案手法

• 部分情報下の対称的な二プレイヤー連続時間確率微分ゲームを定式化し、全情報ナッシュ均衡を支配する結合 Riccati 方程式を導入する。
• ベースラインの実装可能コントロールを、相手の隠れパラメータに関する各プレイヤーの事前分布の下での全情報均衡の期待値として定義する。
• 片方のプレイヤーに対して alignment-faking（AF）コントロール問題を導入し、ベースラインへの忠実度と相手の隠れパラメータについての情報獲得を代理フィッシャー情報行列を用いてトレードオフする。
• 利用可能な量のみを用いた代理 AF 目的関数を構築し、鞍点問題を定式化する。
• Riccati 系を用いた半明示的なコントロール特性を得て、Riccati に基づく最小化と補助変数における勾配ステップを組み合わせた反復アルゴリズムで鞍点問題を解く。
• 相手が基準予測に対して残差を検定する検知スキームを提供する。
• AF ダイナミクスの良性性を保証する時間枠下での Riccati 解の存在性と一意性を証明する。

Figure 2: Combined view of AF behavior with fixed $\mu_{A}=m_{A}=1.0$ and varying $\mu_{B}\in\{1.0,1.2,1.5,1.8,2.0,2.2\}$ . Top panels show state (left) and control (right) trajectories in the case that $\mu_{B}=m_{B}=1.0$ . Bottom panels show asymptotic variance (left) and regression-based detectab

実験結果

リサーチクエスチョン

• RQ1 Q1. 相手の隠れパラメータに関するプレイヤーの情報は、プレイヤーの事前分布 πA および πB にどのように依存するか。
• RQ2 Q2. alignment fakings コントロールは、ベースライン Play に近いまま情報獲得を高めることができるか。
• RQ3 Q3. 偽物が代理目的を用いる場合、観測経路から alignment fakings を検出できるか。
• RQ4 Q4. モデルミスは代理フィッシャー情報と AF 戦略にどのような影響を与えるか。

主な発見

• alignment fakings は、偽装者のモデルが正確である場合、ベースラインの情報獲得を大幅に高める可能性があるが、実務上は検出可能性が高まることがある。
• ベースラインの実装可能コントロールは、相手の隠れパラメータに関する各プレイヤーの事前分布の下での全情報ナッシュ均衡を平均することによって得られる。
• 代理のフィッシャー情報ベースの目的関数を、偽装者が利用可能な量を用いて構築し、半明示的 Riccati ベースのコントロールを用いた扱いやすい鞍点定式化を実現する。
• 情報の質と AF の有効性は主に偽装者のモデルに依存し、対戦相手のモデルは二次的であるが顕著な影響を及ぼす。
• 代理フィッシャー情報は、モデルミスの下で体系的に真の情報から発散する可能性があり、AF 戦略とその有効性の認識に影響を与える。

Figure 3: True asymptotic variance $[I(\gamma)^{-1}]_{m_{B},m_{B}}$ for $\mu_{A}\in\{1.0,1.25,1.5,1.75,2.0\}$ and $\mu_{B}\in\{1.0,1.25,1.5,1.75,2.0,2.25\}$ under both AF (solid) and no AF (dashed) gameplay. Parameters: $q^{AF}=5.0$ , $\lambda^{AF}=2.5$ , and $\rho_{A}=\rho_{B}=0.1$ .