[論文レビュー] Safe Predictors for Enforcing Input-Output Specifications

Stephen Mell, Olivia M. Brown+2 more|arXiv (Cornell University)|Jan 29, 2020

Adversarial Robustness in Machine Learning参考文献 20被引用数 4

ひとこと要約

この論文では、すべての学習段階で入出力仕様を満たすことが保証される、構築段階で正しく保証されるニューラルネットワークを設計する手法を提案する。近接関数で重み付けされた凸結合による制約付き予測子の組み合わせにより、出力が凸制約領域内に保たれることを保証し、航空機の衝突回避に応用して、安全で頑健な性能を実証した。

ABSTRACT

We present an approach for designing correct-by-construction neural networks (and other machine learning models) that are guaranteed to be consistent with a collection of input-output specifications before, during, and after algorithm training. Our method involves designing a constrained predictor for each set of compatible constraints, and combining them safely via a convex combination of their predictions. We demonstrate our approach on synthetic datasets and an aircraft collision avoidance problem.

研究の動機と目的

• 自律走行車両や航空機の衝突回避など、安全が求められるアプリケーションで使用される機械学習モデルに、証明可能な安全保証が欠けている問題に対処する。
• 訓練の前後および中間段階においても、入出力制約を強制する手法を開発し、出発段階から正しさを保証する。
• 運用中においても安全制約を厳密に守らなければならないオンライン学習の状況に対応できる。
• 敵対的ロバストネスとドメイン固有の物理的・論理的制約への準拠を保証するフレームワークを提供する。
• 既存の検証手法を拡張し、制約をモデルアーキテクチャに直接埋め込むことで、制約の満たされることを保証する。

提案手法

• 入出力制約を凸出力領域 $ B_i $ および入力領域 $ A_i $ として定義し、$ x \in A_i \Rightarrow F(x) \in B_i $ を満たす。
• 入力領域 $ A_i $ 内ではゼロで、境界からの距離に応じて増加する近接関数 $ \varsigma_i(x) \in [0,1] $ を構築する。
• 入力空間を $ 2^c $ 個の重複領域 $ O_{\vec{b}} $ に分割し、$ \vec{b} $ は適用される制約を示すビットストリングである。
• 非空の重複領域 $ O_{\vec{b}} $ に対して、$ b_i = 1 $ であるすべての $ B_i $ の積集合にマッピングする制約付き予測子 $ G_{\vec{b}} $ を定義する。
• 重み関数 $ w_{\vec{b}}(x) = \prod_{b_i=0} \varsigma_i(x) \cdot \prod_{b_i=1} (1 - \varsigma_i(x)) $ を計算し、関連しない制約を持つ予測子にゼロの重みを割り当てる。
• 最終的な安全予測子を正規化された凸結合として定義する：$ F(x) = \frac{\sum_{\vec{b} \in \mathcal{O}} w_{\vec{b}}(x) \cdot G_{\vec{b}}(x)}{\sum_{\vec{b} \in \mathcal{O}} w_{\vec{b}}(x)} $ により、出力がすべての有効な制約領域内に保たれることを保証する。

実験結果

リサーチクエスチョン

• RQ1 訓練の初期段階から入出力制約を満たすことが保証されるニューラルネットワークを設計できるか？
• RQ2 複数の制約固有の予測子を、すべての入力領域で安全を維持する1つの統合モデルに統合する方法は何か？
• RQ3 どの重み付けメカニズムが、関連する制約付き予測子のみが最終出力に寄与するのを保証するとともに、制約領域の凸性を維持するか？
• RQ4 この手法は、複雑で重複する制約を有する実世界の安全が求められるシステムにどの程度スケーラブルに適用できるか？
• RQ5 このフレームワークは、敵対的ロバストネスとドメイン固有の安全ルールを同時に強制するために応用可能か？

主な発見

• 提案された安全予測子 $ F(x) $ は証明可能な正しさを有する：任意の入力 $ x \in A_i $ に対して、出力 $ F(x) \in B_i $ が成り立ち、すべての制約が満たされる。
• この手法は訓練を開始する前から安全を保証するため、オンライン学習やリアルタイムの安全が求められるシステムに適している。
• このアプローチは、安全な回避行動を強制する垂直CAS（VerticalCAS）航空機衝突回避システムに成功裏に適用された。30個の制約付き予測子を用いて実装された。
• 安全予測子アーキテクチャは、最初の4層を共有し、各予測子ごとに別々の最終2層を持つ構成を採用しており、追加の制約にもかかわらずモデル効率を維持している。
• 非対称損失関数を用いた学習により、照合テーブルからのスコア予測が正確に達成された。学習には80%のデータ、テストには20%のデータが使用された。
• 最終的な安全予測子は2880ノードを有し、元の照合テーブルよりも大幅に小さく、証明可能な安全とロバストネスを維持した。