[論文レビュー] Distributionally Robust Statistical Verification with Imprecise Neural Networks

Souradeep Dutta, Michele Caprio+6 more|Research Explorer (The University of Manchester)|Aug 28, 2023

Adversarial Robustness in Machine Learning被引用数 4

ひとこと要約

本稿では、不確実性を有するニューラルネットワーク（INN）を用いてアクティブラーニングと形式的検証を誘導することで、高次元の自律システムに対する分布的に頑健な統計的検証フレームワークを提案する。INNとSherlock検証ツールを組み合わせることで、多様な入力分布にわたって成立するスケーラブルで分布的に頑健な性能保証を提供し、分布外設定でも順応的予測を上回る。

ABSTRACT

A particularly challenging problem in AI safety is providing guarantees on the behavior of high-dimensional autonomous systems. Verification approaches centered around reachability analysis fail to scale, and purely statistical approaches are constrained by the distributional assumptions about the sampling process. Instead, we pose a distributionally robust version of the statistical verification problem for black-box systems, where our performance guarantees hold over a large family of distributions. This paper proposes a novel approach based on uncertainty quantification using concepts from imprecise probabilities. A central piece of our approach is an ensemble technique called Imprecise Neural Networks, which provides the uncertainty quantification. Additionally, we solve the allied problem of exploring the input set using active learning. The active learning uses an exhaustive neural-network verification tool Sherlock to collect samples. An evaluation on multiple physical simulators in the openAI gym Mujoco environments with reinforcement-learned controllers demonstrates that our approach can provide useful and scalable guarantees for high-dimensional systems.

研究の動機と目的

• 固定された仮定された入力分布に依存する統計的検証手法の限界に対処すること。これは、実運用環境では成立しない可能性がある。
• 高次元の自律システムで一般的な分布シフトにおいても、性能保証を維持できるスケーラブルな統計的検証アプローチを開発すること。
• 不確実性の定量化（INNから得られる）を形式的検証と統合し、アクティブラーニングを誘導し、サンプリング効率を向上させること。
• 訓練データの分布を超えて有効である、分布族全体における最悪性能に対する理論的保証を提供すること。
• 強化学習制御器を搭載したOpenAI Gym MuJoCo環境からの高次元ベンチマークにおいて、本手法の有効性を実証すること。

提案手法

• 単一の固定分布ではなく、入力分布族全体にわたって性能指標の下限を保証する、分布的に頑健な統計的検証問題を定式化すること。
• 入力空間の高不確実性領域に向けたアクティブラーニングを誘導するために、エピステミック不確実性推定を提供する不確実性を有するニューラルネットワーク（INN）を補助モデルとして使用すること。
• INNからの不確実性推定を用いてブラックボックスシステムを問い合わせるアクティブラーニングループを構築し、新規サンプルでINNを再訓練する反復的プロセスを実装すること。
• サンプリングされた点の近傍における性能境界の形式的保証を計算するために、ニューラルネットワーク検証ツールSherlockを適用し、局所的摂動下での正しさを保証すること。
• 高い信頼度で性能保証が成立する初期状態の分布族を構築し、事前デプロイメント検証とオンライン監視を可能にすること。
• 不確実性確率枠組みを活用してモデル不確実性を表現し、分布シフト下でもカバレッジを維持する保守的予測区間を導出すること。

実験結果

リサーチクエスチョン

• RQ1 統計的検証手法は、高次元の自律システムにおける分布シフトに対して頑健な性能保証を提供できるか？
• RQ2 不確実性を有するニューラルネットワークからの不確実性定量化は、高次元入力空間におけるアクティブラーニングの効率性とスケーラビリティをどのように向上させるか？
• RQ3 標準的な順応的予測と比較して、提案手法の分布的に頑健な保証は、分布外テスト状況においてどの程度有効に保たれるか？
• RQ4 形式的検証（Sherlock経由）とアクティブラーニング、不確実性を有するニューラルネットワークの統合により、既存の統計的手法よりもタイトで信頼性の高い性能境界が得られるか？
• RQ5 提案手法は、MuJoCo環境のような多様で高次元の強化学習ベンチマークにおいて、どの程度スケーラブルに動作するか？

主な発見

• 提案手法は、すべての10のMuJoCo環境において、分布内および分布外のテスト設定下で99–100％のカバレッジ率を達成し、順応的予測を著しく上回った。順応的予測は複数の分布外ケースで95％未満に低下した。
• 分布外評価において、INNベースの手法は入力空間全体に均等にサンプリングされたテスト例に対しても95％以上のカバレッジを維持したが、順応的予測は複数の環境でカバレッジ保証を逸脱した。
• INNの平均予測区間幅は、順応的予測よりも一貫して広く、特に高次元設定においてより保守的で信頼性の高い不確実性推定であることを示した。
• Humanoid-Standup環境（47次元入力）では、INNが100％のカバレッジと平均区間サイズ262を達成したが、順応的予測は143の大幅に大きな区間サイズで95％のカバレッジにとどまった。
• 本手法は高次元システム（最大47次元）にもスケーラブルであり、Ant、Half-Cheetah、Walker2dを含む多様な制御タスクで一貫した性能を示した。
• アブレーションスタディにより、異なる信頼水準（β = 10⁻², 10⁻⁴）においてもINNが優れたカバレッジを維持することが確認され、選択された有意水準に関わらず、分布シフトに対して頑健であることが裏付けられた。