[論文レビュー] Conformal Prediction Intervals for Markov Decision Process Trajectories

Thomas G. Dietterich, Jesse Hostetler|arXiv (Cornell University)|Jun 10, 2022

Simulation Techniques and Applications被引用数 6

ひとこと要約

本稿では、マルコフ決定過程（MDP）の軌道に対して、全時間ステップで有限標本のカバレッジ $1 - \delta$ を保証する、軌道単位の予測区間を生成するコンフォーマル予測手法 SQBoxCI を提案する。定量回帰とコンフォーマル補正を組み合わせることで、従来のボンフェローニ補正に基づく手法よりもタイトで、同時に多次元の区間を生成する。実験では、侵入種管理タスクおよび StarCraft2 タスクで強い実証的カバレッジを示した。

ABSTRACT

Before delegating a task to an autonomous system, a human operator may want a guarantee about the behavior of the system. This paper extends previous work on conformal prediction for functional data and conformalized quantile regression to provide conformal prediction intervals over the future behavior of an autonomous system executing a fixed control policy on a Markov Decision Process (MDP). The prediction intervals are constructed by applying conformal corrections to prediction intervals computed by quantile regression. The resulting intervals guarantee that with probability $1-δ$ the observed trajectory will lie inside the prediction interval, where the probability is computed with respect to the starting state distribution and the stochasticity of the MDP. The method is illustrated on MDPs for invasive species management and StarCraft2 battles.

研究の動機と目的

• 個々の時間ステップではなく、全 MDP 軌道全体に対して有限標本の $1-\delta$ カバレッジ保証を提供すること。
• 多次元予測におけるボンフェローニ補正の限界を克服し、軌道の挙動を同時にモデル化することで、よりタイトで情報量の多い区間を生成すること。
• 極端な分位点推定に対してロバストで、自律システムの導入に適した解釈可能で安全を重視した信頼区間を提供すること。
• 訓練データにおける違反パターンの分析により、予測失敗の早期警告を可能とし、安全を重視する分野における人間とAIの協働を支援すること。

提案手法

• 各時間ステップにおける行動ベクトルの $\delta/2$ および $1-\delta/2$ 分位点を、初期状態 $s_0$ の関数として定量回帰により予測する。
• SBox アルゴリズムを用いて、時間ステップおよび次元ごとに再スケーリングおよびコンフォーマル化することで、多次元のコンフォーマル予測区間を計算する。
• まず時間ステップごとの分位点予測を計算し、その後にコンフォーマル補正を適用することで、全軌道にわたる結合的カバレッジを保証する二段階手法 SQBoxCI を導入する。
• 有限標本の妥当性を保証するため、分割コンフォーマル予測を採用し、初期状態の分布 $P_0$ に対して保証が成り立つ。
• 真の軌道が予測区間の外側にある頻度（超過度）を評価する指標を用い、最大超過度を用いて最終的な境界をキャリブレーションする。
• 状態空間における違反のクラスタリングを検出するヒューリスティックチェックを組み込み、解釈性を向上させるとともに、安全を重視する状況での誤検出を低減する。

実験結果

リサーチクエスチョン

• RQ1 有限標本のカバレッジを保ちながら、MDPにおける多次元的・軌道単位の予測区間へのコンフォーマル予測の拡張が可能かどうか。
• RQ2 ボンフェローニ補正を施した単変量区間と比較して、結合的コンフォーマルアプローチは、区間のタイトさと実証的カバレッジの両面でどのように優れているか。
• RQ3 本手法は、予測区間が体系的に違反する状態空間の領域を検出し、人間のオペレータに早期警告を提供できるか。
• RQ4 高次元の軌道空間における小さな訓練サンプルサイズや極端な分位点推定に対して、本手法はどれほどロバストか。

主な発見

• SQBoxCI 手法は、Tamarisk の侵入種管理タスクおよび StarCraft2 戦闘タスクの両方で、名目上の $1 - \delta$ カバレッジに近い実証的カバレッジを達成した。
• デルタ $\delta = 0.2$ および $\delta = 0.1$ の場合、合計超過度に基づく境界手法は、将来的な挙動を妥当に再現したが、Tamarisk タスクでは $\delta = 0.05$ の場合に性能が低下した。
• コンフォーマル補正により、ボンフェローニ補正を施した単変量区間と比較して、特に高次元設定において顕著にタイトな予測区間が得られた。
• 実験から、安定的かつタイトなコンフォーマル分位点推定を得るには少なくとも 500 本の軌道が必要であることが示され、データ効率の制限が浮き彫りになった。
• StarCraft2 タスクでは、違反のクラスタリングが検出され、一部の初期状態が一貫して区間違反を引き起こすことが判明した。本手法は、訓練データの検査によりこのような状態を特定するのに役立つ。
• 本手法は、違反が状態空間に均等に分布している場合には、個々の初期状態に対して条件付きに有効であるかのようにほぼ動作する、解釈可能で準条件的な予測区間を提供できる。