[論文レビュー] Semialgebraic Representation of Monotone Deep Equilibrium Models and Applications to Certification

Tong Chen, Jean B. Lasserre+2 more|arXiv (Cornell University)|Jun 2, 2021

Adversarial Robustness in Machine Learning参考文献 35被引用数 4

ひとこと要約

本稿では、ReLUベースの単調な深層均衡モデル（monDEQ）の代数的表現を提示し、半代数的表現を用いて半正定値計画法（SDP）によるロバストネスの証明、リプシッツ定数の推定、楕円体型の不確実性伝播を可能にする。提案されたSDPベースのモデルは、従来の手法を上回り、特に$L_2$ロバストネスにおいて優れている。また、monDEQは$L_\infty$ノルムの摂動に対して$L_2$ノルムの摂動よりも著しく脆弱であることが明らかになった。

ABSTRACT

Deep equilibrium models are based on implicitly defined functional relations and have shown competitive performance compared with the traditional deep networks. Monotone operator equilibrium networks (monDEQ) retain interesting performance with additional theoretical guaranties. Existing certification tools for classical deep networks cannot directly be applied to monDEQs for which much fewer tools exist. We introduce a semialgebraic representation for ReLU based monDEQs which allows to approximate the corresponding input output relation by semidefinite programming (SDP). We present several applications to network certification and obtain SDP models for the following problems : robustness certification, Lipschitz constant estimation, ellipsoidal uncertainty propagation. We use these models to certify robustness of monDEQs w.r.t. a general $L_q$ norm. Experimental results show that the proposed models outperform existing approaches for monDEQ certification. Furthermore, our investigations suggest that monDEQs are much more robust to $L_2$ perturbations than $L_{\infty}$ perturbations.

研究の動機と目的

• 単調な深層均衡モデル（monDEQ）のロバストネス証明ツールの不足に応えること。monDEQは理論的に整合性があるが、証明の分野では未だ十分に検討されていない。
• 半代数的表現を用いて、一般化されたロバストネス証明、リプシッツ定数の推定、ネットワーク出力の外部近似を可能にするフレームワークを構築すること。
• 半正定値計画法の緩和を用いて、一般の$L_p$ノルム、特に$L_2$および$L_\infty$において、monDEQの効率的な証明を可能にすること。
• monDEQが$L_\infty$摂動に対して$L_2$摂動よりも感受性が高いため、非対称なロバストネスを示すことを実証すること。
• 従来、古典的DNNに限られていた代数幾何学に基づく証明技術を、暗黙的に定義されたmonDEQアーキテクチャへと拡張すること。

提案手法

• 固定点方程式と単調性制約を用いて、ReLU活性化関数を備えたmonDEQを半代数的集合として定式化する。
• Shorの緩和法を適用し、半代数的表現を段階的な半正定値計画法（SDP）の系列に変換する。
• 3つの異なるSDPモデルを構築する：(1) $L_p$ノルムにおけるロバストネス証明、(2) リプシッツ定数の推定、(3) 画像集合の楕円体型外部近似。
• SDP系列の1次緩和を用いて、リプシッツ定数のタイトな上界を計算し、ロバストネスを検証する。
• 外部近似楕円体の幾何的性質を活用し、ラベル空間における意思決定境界より楕円体が下にあるかを確認することでロバストネスを証明する。
• MNISTデータセットに全結合型monDEQを適用し、[25]で提示された最先端手法と比較した。

実験結果

リサーチクエスチョン

• RQ1 monDEQの半代数的表現を構築することで、半正定値計画法による代数的証明が可能になるか？
• RQ2 提案されたSDPベースのモデルは、従来手法と比較してmonDEQのロバストネス証明性能において優れているか？
• RQ3 monDEQのロバストネスは、$L_p$ノルムの間で対称的か。特に$L_2$と$L_\infty$の間でどうか？
• RQ4 提案されたモデルは、monDEQのタイトなリプシッツ定数を推定でき、既存の境界を改善できるか？
• RQ5 外部近似楕円体は、monDEQのロバストネス証明に効果的に用いられるか。直接的なロバストネスチェックと比較してどうか？

主な発見

• 提案されたロバストネスモデルは、[25]の手法を上回り、$L_2$ノルム下でより多くのMNISTサンプルのロバストネスを証明した。
• ロバストネスモデルは、1次SDP緩和のみを用いても、最先端手法を上回るタイトな証明境界を達成した。
• リプシッツモデルは、[25]の手法よりもタイトなリプシッツ定数の上界を提供し、推定精度の向上を示した。
• 楕円体モデルは、ネットワーク出力の効果的な外部近似を可能にした。可視化により、$L_2$に基づく楕円体は意思決定閾値より下に位置しているのに対し、$L_\infty$に基づくものはそうではないことが示された。
• 実験結果により、monDEQは古典的DNNとは異なり、$L_\infty$摂動に対しては$L_2$摂動よりも著しくロバスト性が低いことが確認された。
• SDPベースのモデルは証明タスクにおいて有効であるが、現在のSDPソルバが5000×5000より大きな行列を処理できないため、スケーラビリティに制限がある。