[論文レビュー] Sim2Act: Robust Simulation-to-Decision Learning via Adversarial Calibration and Group-Relative Perturbation

Hongyu Cao, Jinghan Zhang+6 more|arXiv (Cornell University)|Mar 10, 2026

Adversarial Robustness in Machine Learning被引用数 0

ひとこと要約

Sim2Act は、意思決定が重要となる領域でのシミュレータを敵対的にキャリブレーションし、グループ相対的摂動を用いて方針を訓練することで、シミュレーションと意思決定を共同でロバスト化する。

ABSTRACT

Simulation-to-decision learning enables safe policy training in digital environments without risking real-world deployment, and has become essential in mission-critical domains such as supply chains and industrial systems. However, simulators learned from noisy or biased real-world data often exhibit prediction errors in decision-critical regions, leading to unstable action ranking and unreliable policies. Existing approaches either focus on improving average simulation fidelity or adopt conservative regularization, which may cause policy collapse by discarding high-risk high-reward actions. We propose Sim2Act, a robust simulation-to-decision framework that addresses both simulator and policy robustness. First, we introduce an adversarial calibration mechanism that re-weights simulation errors in decision-critical state-action pairs to align surrogate fidelity with downstream decision impact. Second, we develop a group-relative perturbation strategy that stabilizes policy learning under simulator uncertainty without enforcing overly pessimistic constraints. Extensive experiments on multiple supply chain benchmarks demonstrate improved simulation robustness and more stable decision performance under structured and unstructured perturbations.

研究の動機と目的

• ノイズが多く、偏りがあり、データが不完全な高リスク領域（例：サプライチェーン）におけるロバストなシミュレーション-to-意思決定学習を動機づける。
• 意思決定におけるシミュレーションと行動の不整合と、不確実性下で保守的すぎるポリシーという二つの核心的弱点に対処する。
• Sim2Act を提案し、シミュレーション忠実度を行動有用性と整合させ、摂動下でのポリシーランキングを安定化させる。
• 複数のサプライチェーンベンチマークでロバスト性と意思決定品質の改善を示す。

提案手法

• 意思決定に重要な領域での予測誤差を行動条件付きウェイトで再加重し、決定クリティカルな領域を優先する敵対的なシミュレータキャリブレーションを導入する。
• キャリブレータが高影響の誤差を強調し、シミュレータがそれを最小化するように最小最大（ミニマックス）目的を二人称で開発する。
• 行動条件付きの重要度ウェイトを出力するキャリブレータを持つLSTMベースの代理シミュレータを実装する。
• 各状態の周囲に潜在空間の摂動をサンプリングし、摂動群のグループ内でポリシーを訓練して相対的な行動有用性を保持するグループ相対的摂動を提案する。
• グループ相対的損失として、グループ優位性項と有用性ギャップ項を組み合わせ、ロバストなポリシー学習を指導する。
• キャリブレータとシミュレータを交互に最適化（ミニマックス）し、グループ相対的摂動を用いて意思決定者を訓練する。

実験結果

リサーチクエスチョン

• RQ1 決定クリティカル領域でのシミュレーション誤差を全体の精度を損なうことなくどのように低減するか？
• RQ2 不確実性をすべて脅威として扱い、高リスク・高報酬の行動を犠牲にするポリシーをどう防ぐか？
• RQ3 行動 aligned なシミュレータキャリブレーションとグループ相対的摂動を組み合わせることで、構造化摂動・非構造化摂動の双方に対するロバスト性が向上するか？
• RQ4 提案手法は名目上のシミュレーションと意思決定性能を維持または改善しつつ、ロバスト性を向上させるか？
• RQ5 ロバスト性の利点は多様なサプライチェーンベンチマークで一貫性を持つか？

主な発見

• Sim2Act は latent-structured およびランダム摂動の下で DataCo、GlobalStore、OAS のベースラインよりも強いロバスト性を発揮する。
• 行動 aligned なシミュレータキャリブレーションは意思決定クリティカルな行動に改善を集中させ、最悪ケースのシミュレータ信頼性を向上させる。
• グループ相対的摂動は摂動群内でポリシーの相対的好みを安定化させ、ばらつきを低減し、ポリシー崩壊を防ぐ。
• Sim2Act はロバスト性を高めつつ下流の意思決定指標（利益と納期遵守率）を維持または向上させる。
• アブレーション研究は、シミュレータキャリブレーションと意思決定摂動の双方がロバスト性に寄与し、併用が最良の結果をもたらすことを示す。
• 摂動下での CVaR@5% は Sim2Act にとって依然として高く、尾部リスクの制御がより優れていることを示す。