[論文レビュー] Semialgebraic Optimization for Lipschitz Constants of ReLU Networks

Tong Chen, Jean B. Lasserre+2 more|arXiv (Cornell University)|Feb 10, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用数 17

ひとこと要約

本稿では、多項式リフトと弱い Putinar 型正定性証明を用いた半定値計画法（SDP）階層を提案し、深層 ReLU ニューラルネットワークのグローバルおよびローカルリプシッツ定数のよりタイトな上界を計算する。この手法は、特にロバストネス認証および Wasserstein GAN 応用において、状態の最良の線形計画法アプローチと比較して、境界品質および計算効率の両面で優れている。

ABSTRACT

The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method provides a trade-off with respect to state of the art linear programming approach, and in some cases we obtain better bounds in less time.

研究の動機と目的

• 深層 ReLU ニューラルネットワークのグローバルおよびローカルリプシッツ定数を推定する計算的に効率的な手法を開発すること。
• 既存の線形計画法および Shor の緩和法を改善し、リプシッツ定数のよりタイトな上界を提供すること。
• 多項式最適化における半代数的表現を用いて、ReLU 関数およびその一般化導関数の正確な取り扱いを可能にすること。
• より正確なリプシッツ境界を通じて、ロバストネス認証および Wasserstein GAN 学習を支援すること。
• 深層学習に生じるほぼスパースな多項式最適化問題に、モーメント緩和技術の適用範囲を拡張すること。

提案手法

• ReLU 関数およびその一般化導関数を多項式不等式を用いて基本的で閉じた半代数的集合として表現する。
• 多項式リフト技術を適用して、ReLU 及びその導関数を高次元空間に表現し、正確な半代数的定式化を可能にする。
• Putinar の正定性証明の弱い一般化を用いて、多項式最適化問題（POP）の収束する半定値計画法階層を構築する。
• リプシッツ定数推定を二次制約付き二次計画問題（QCQP）として定式化し、提案された SDP 階層によって緩和する。
• 計算効率と境界のタイトさのバランスを図るために、密度型およびスパース型の Lasserre 式モーメント緩和を組み合わせる。
• MNIST 分類タスクにおけるロバストネス認証のためのローカルリプシッツ定数の計算に、このフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 半代数的リフトに基づく半定値計画法階層は、既存の線形計画法や Shor の緩和法と比較して、よりタイトなリプシッツ境界を提供できるか？
• RQ2 提案手法は、ReLU ニューラルネットワークにおけるローカルリプシッツ定数の推定において、どのように性能を発揮するか？
• RQ3 弱い Putinar 型証明は、ReLU 活性化関数を含む多項式最適化問題において、グローバル最適解をどの程度正確に近似できるか？
• RQ4 深層学習に生じるほぼスパースな多項式最適化問題に、この手法を計算コストの著しい増加を伴わずに効率的に適用できるか？
• RQ5 ReLU 及びその導関数の正確な半代数的表現は、実際のロバストネス認証率の向上に寄与するか？

主な発見

• 提案された SDP ベースの手法は、状態の最良の線形計画法アプローチと同等またはそれ以上の境界を達成し、多くのケースでより速い収束を示す。
• MNIST における SDP-NN ネットワークでは、ε = 0.1 の条件下で 67.63% のテスト例がロバストであると認証され、Grad-cert の 65% よりわずかだが顕著に優れている。
• 複数のベンチマークケースにおいて、Shor の緩和法および [21] からの LP アプローチよりもタイトな境界を提供している。
• ReLU 及びその一般化導関数に対する正確な半代数的リフトの使用により、明確な定式化と向上した数値的安定性が実現された。
• ヒューリスティックなモーメント緩和アプローチは、深層ネットワークに由来する高次多項式に対しても、リフトまたはサブモーメント技術と組み合わせることで依然として有効である。
• 本手法は、正確なリプシッツ制御が不可欠なロバストネス認証および Wasserstein GAN 学習において、実用的であることが示された。