[論文レビュー] Local Repair of Neural Networks Using Optimization

Keyvan Majd, Siyu Zhou+3 more|arXiv (Cornell University)|Sep 28, 2021

Adversarial Robustness in Machine Learning参考文献 32被引用数 7

ひとこと要約

この論文は、安全制約を満たしつつ元の性能を保持するように、混合整数二次計画法（MIQP）を用いて1層の重みを調整することで、事前学習済みの順方向ニューラルネットワークを最適化ベースで修復するフレームワークを提案する。この手法は、安全性、分類、制御のタスクにおいて、最小限の精度損失でネットワークを修復するのに成功した。

ABSTRACT

In this paper, we propose a framework to repair a pre-trained feed-forward neural network (NN) to satisfy a set of properties. We formulate the properties as a set of predicates that impose constraints on the output of NN over the target input domain. We define the NN repair problem as a Mixed Integer Quadratic Program (MIQP) to adjust the weights of a single layer subject to the given predicates while minimizing the original loss function over the original training domain. We demonstrate the application of our framework in bounding an affine transformation, correcting an erroneous NN in classification, and bounding the inputs of a NN controller.

研究の動機と目的

• 展開後に安全制約や性能特性を満たさないニューラルネットワークを修復する課題に対処すること。
• ネットワークの1層のみを変更しながら、元の学習データに対する高い精度を維持すること。
• 従来の手法が特定のアーキテクチャに制限されるのに対し、一般的でアーキテクチャに依存しない、順方向ネットワークに適用可能な修復手法を提供すること。
• ユーザーが定義した出力述語を、指定された入力ドメイン上で満たすように、最小限で局所的な重み調整を実現すること。
• ロボティクス分野の応用、特に安全な制御、分類誤りの是正、運動学的モデリングを支援すること。

提案手法

• ニューラルネットワーク修復問題を、1層の重み変更を最適化する混合整数二次計画問題（MIQP）として定式化する。
• 安全制約と性能制約を、与えられた入力ドメインにおけるネットワーク出力に関する述語として定義する。
• バイナリ変数を用いてニューロンの活性化状態をモデル化し、MIQP定式化においてReLU非線形性を正確に表現する。
• すべての制約を満たしつつ、元の学習損失を元のデータセット上で最小化することで、元のモデルからの最小限の逸脱を保証する。
• MIQPソルバを用いて、指定された入力領域でネットワークを修復する最適な重み更新を計算する。
• 3つのロボティクスタスク（アフィン変換の境界設定、分類誤りの是正、CBFおよびCLF制約を用いた安全なロボット制御）において、この手法を実証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みのニューラルネットワークを、再訓練を一切行わずに安全制約を満たすように修復できるか？
• RQ2 修復プロセス中に、元の学習データに対する性能劣化をどのように最小限に抑えることができるか？
• RQ3 1層の重み調整を用いて、正確で局所的な修復を達成できるか、かつグローバルな精度を維持できるか？
• RQ4 異なるネットワーク層（例：最終層対隠れ層）を修復した場合、実行可能性と性能にどのような影響を与えるか？
• RQ5 MIQPベースの修復フレームワークは、実世界のロボティクス制御および検証タスクにおいてどの程度有効か？

主な発見

• 提案されたMIQPベースの修復フレームワークは、多様なロボティクス応用分野において、安全制約と性能述語を最小限の精度損失で満たすことに成功した。
• 移動ロボット制御タスクにおいて、最終層の修復により重みのずれδ = 2.45が達成され、軌道は安全でない領域を完全に回避した。
• 修復された制御系は、安全でない領域付近で速度を動的に調整しながら、安全領域では元のポリシーに収束するなど、適応的挙動を示した。
• QPベースの模倣学習設定における軌道品質が保持されていることから、元の学習データに対する高い性能が維持されていることが裏付けられた。
• 一部のケースでは最終層の修復で実行不能性が観察されたため、複雑なシナリオでは隠れ層の修復の方がより頑健である可能性がある。
• このフレームワークは、敵対的サンプルの再学習やネットワーク全体の再学習を必要とせず、的確で最小限の修復を実現可能である。