[論文レビュー] Constrained Feedforward Neural Network Training via Reachability Analysis

Long Kiu Chung, Adam Dai+3 more|arXiv (Cornell University)|Jul 16, 2021

Adversarial Robustness in Machine Learning参考文献 26被引用数 5

ひとこと要約

本稿では、学習中に安全制約を強制するための微分可能で到達可能性に基づく手法を、順方向ReLUニューラルネットワークの学習に提案する。入力および出力集合を制約付きゾノトープとして表現することで、到達集合を計算し、微分可能な衝突チェック損失を用いて安全でない出力領域との重複を避ける。数値例において、制約の満たされるとともに、保証された制約満足が達成された。

ABSTRACT

Neural networks have recently become popular for a wide variety of uses, but have seen limited application in safety-critical domains such as robotics near and around humans. This is because it remains an open challenge to train a neural network to obey safety constraints. Most existing safety-related methods only seek to verify that already-trained networks obey constraints, requiring alternating training and verification. Instead, this work proposes a constrained method to simultaneously train and verify a feedforward neural network with rectified linear unit (ReLU) nonlinearities. Constraints are enforced by computing the network's output-space reachable set and ensuring that it does not intersect with unsafe sets; training is achieved by formulating a novel collision-check loss function between the reachable set and unsafe portions of the output space. The reachable and unsafe sets are represented by constrained zonotopes, a convex polytope representation that enables differentiable collision checking. The proposed method is demonstrated successfully on a network with one nonlinearity layer and approximately 50 parameters.

研究の動機と目的

• 学習後にのみ制約を検証するのではなく、学習段階で出力制約を保証できる安全な応用を想定したニューラルネットワークの学習の課題に対処すること。
• 制約の強制を学習目的に直接組み込むことで、学習と検証を交互に繰り返す必要をなくすこと。
• 微分可能で集合ベースの到達可能性フレームワークを構築し、凸ポリトープの正確な表現と、到達出力集合と安全でない出力集合間の効率的な衝突チェックを可能にすること。
• ゾノトープの交差チェックに基づく損失関数を用いて、収束時に制約が満たされることを示すこと。

提案手法

• 本手法は、入力集合と出力到達集合を、線形変換に対して閉じており、凸ポリトープの正確な表現を可能にする制約付きゾノトープで表現する。
• 制約付きゾノトープ算術を用いて、レイヤーごとにネットワークの出力空間における到達集合を計算し、ReLU非線形性を介しても集合の性質を保持する。
• 線形計画法を解いて到達集合と安全でない出力領域との交差を検出することで、微分可能な衝突チェック損失を定式化する。
• この損失関数を学習目的に統合し、バックプロパゲーションと勾配ベース最適化を可能にすることで、予測誤差の最小化と制約満足の両立を実現する。
• 各学習イテレーションで二段階のバックワードパスを実行する：まずデータセット上の目的損失のためのもの、次にゾノトープの交差に基づく制約損失のためのもの。
• ミンコフスキー和、交差、衝突チェックのための解析的演算を活用し、効率的で微分可能な到達可能性解析を実現する。

実験結果

リサーチクエスチョン

• RQ1 最適化中に直接、ユーザー指定の安全制約を満たすようにニューラルネットワークを学習させることは可能か？（後処理による検証ではなく。）
• RQ2 集合ベースの到達可能性解析をどのように微分可能にすれば、安全制約を伴うエンドツーエンドの学習が可能になるか？
• RQ3 到達集合の表現に制約付きゾノトープを用いることで、計算効率と制約強制の正確性にどのような影響があるか？
• RQ4 提案手法は、反復的検証ループを必要とせずに収束時に制約を満たすことを保証できるか？

主な発見

• 提案手法は、小さな順方向ReLUネットワークを、出力空間における安全でない領域を完全に回避する形で正しく学習させた。図4に示すように、出力空間における安全でない領域を回避した。
• 制約付き学習では最終的な制約損失が0.0000に達し、到達集合と安全でない集合との交差がないことを示した。一方、非制約付き学習では損失が0.0575に達し、制約違反が生じた。
• 目的損失は非制約付き学習の0.0039から制約付き学習の0.0127に増加し、精度と安全制約の強制の間のトレードオフを示した。
• 従来の手法が違反をペナルティ化するか、後処理による検証を要するのに対し、本手法は収束時に制約の満たされることを保証した。
• 成功は確認されたが、制約付き学習には約5時間かかった。これは非制約付き学習（0.5秒）と比べて数個のオーダーも遅く、制約付きゾノトープ表現の指数的増大が原因であった。
• GPU使用率は低く（1–5％）にとどまり、並列化や最適化技術の向上により、著しい性能向上の余地があることが示された。