[論文レビュー] Polynomial Optimization for Bounding Lipschitz Constants of Deep Networks

Tong Chen, Jean B. Lasserre+2 more|arXiv (Cornell University)|Feb 10, 2020

Adversarial Robustness in Machine Learning参考文献 24被引用数 6

ひとこと要約

本稿では、多項式リフトと一般化されたPutinarの正値性証明を活用した半定積分プログラミング（SDP）階層を提案し、深層ReLUネットワークのグローバルおよびローカルリプシッツ定数の推定を行う。従来の線形プログラミング手法と比較して、より高速な計算とよりタイトな境界を達成し、ロバストネス認証およびGAN学習への応用において、より高い精度を提供する。

ABSTRACT

The Lipschitz constant of a network plays an important role in many applications of deep learning, such as robustness certification and Wasserstein Generative Adversarial Network. We introduce a semidefinite programming hierarchy to estimate the global and local Lipschitz constant of a multiple layer deep neural network. The novelty is to combine a polynomial lifting for ReLU functions derivatives with a weak generalization of Putinar's positivity certificate. This idea could also apply to other, nearly sparse, polynomial optimization problems in machine learning. We empirically demonstrate that our method not only runs faster than state-of-the-art linear programming based method, but also provides sharper bounds.

研究の動機と目的

• 深層ニューラルネットワークにおけるグローバルおよびローカルリプシッツ定数を、効率的かつ正確に推定する課題に対処すること。
• 敵対的ロバストネスやワサースタインGANを含む応用分野におけるロバストネス認証および学習安定性の向上。
• 既存の線形プログラミングに基づく手法を上回る速度および境界のタイトさを実現するスケーラブルな最適化フレームワークの開発。
• 特にReLU活性化関数を含む、深層学習で生じるほぼスパースな問題に、多項式最適化技術を拡張すること。

提案手法

• ReLU関数およびその微分を、より高い次元の多項式空間に表現するための多項式リフト技術を採用する。
• リプシッツ推定に必要な非負多項式条件を扱うために、Putinarの正値性証明の弱い一般化を導入する。
• リプシッツ定数の上界を段階的にタイトにするために、半定積分プログラミング（SDP）階層を構築する。
• ネットワーク構造に現れるスパarsityパターンを活用するように設計されており、より深いネットワークに対しても効率的な計算を可能にする。
• 凸緩和を用いて解ける多項式最適化問題として、リプシッツ定数推定を定式化する。
• 最適化定式化における関心領域を変更することにより、グローバルおよびローカルリプシッツ定数の両方の推定を可能にする。

実験結果

リサーチクエスチョン

• RQ1 半定積分プログラミングに基づく多項式最適化フレームワークは、従来の線形プログラミング手法と比較して、よりタイトで高速なリプシッツ定数推定を実現できるか？
• RQ2 多項式リフトおよび一般化された正値性証明は、非滑らかな活性化関数を有するReLUベースの深層ネットワークに、どの程度効果的に適用可能か？
• RQ3 本手法は、深さおよび幅が増したネットワークアーキテクチャに対しても、計算効率を維持したままスケーリング可能か？
• RQ4 局所的ロバストネス解析に不可欠な局所リプシッツ定数の計算に、本手法を適応可能か？
• RQ5 実際の応用において、境界の鋭さおよび実行時間性能の観点から、最先端の手法と比較して本手法はどのように差をつけるか？

主な発見

• 提案手法は、最先端の線形プログラミングに基づく手法と比較して、顕著に鋭いリプシッツ境界を達成する。
• 既存の線形プログラミング手法よりも高速に実行され、ベンチマークネットワークにおいて計算効率の向上が実証された。
• 多項式リフトと一般化されたPutinar証明の活用により、最適化フレームワーク内でのReLU微分の効果的取り扱いが可能になった。
• SDP階層により、階層レベルを高めるごとに境界を段階的に改善する体系的な方法が提供され、収束に伴いよりタイトな推定に到達する。
• 実験結果により、ロバストネスおよびGAN応用で一般的に用いられる標準的な深層学習アーキテクチャにおいて、本手法のスケーラビリティおよび有効性が確認された。