[論文レビュー] Lipschitz Certificates for Neural Network Structures Driven by Averaged Activation Operators

Patrick L. Combettes, Jean‐Christophe Pesquet|arXiv (Cornell University)|Mar 3, 2019

Adversarial Robustness in Machine Learning参考文献 54被引用数 11

ひとこと要約

本稿では、非拡大平均作用素とアフィン変換の合成としてモデル化することにより、順伝播型ニューラルネットワークにおける鋭いリプシッツ定数を計算するための新規フレームワークを提案する。従来の積の上限法に比べて層間相互作用をより正確に捉えることで、特にスカラー非線形性を有するネットワーク、すなわち標準的な畳み込みアーキテクチャを含むネットワークにおいて、よりタイトなロバストネス証明が得られる。

ABSTRACT

Obtaining sharp Lipschitz constants for feed-forward neural networks is essential to assess their robustness in the face of perturbations of their inputs. We derive such constants in the context of a general layered network model involving compositions of nonexpansive averaged operators and affine operators. By exploiting this architecture, our analysis finely captures the interactions between the layers, yielding tighter Lipschitz constants than those resulting from the product of individual bounds for groups of layers. The proposed framework is shown to cover in particular many practical instances encountered in feed-forward neural networks. Our Lipschitz constant estimates are further improved in the case of structures employing scalar nonlinear functions, which include standard convolutional networks as special cases.

研究の動機と目的

• 入力摂動に対するロバストネスをより正確に評価できるように、深層順伝播型ネットワークにおけるリプシッツ定数を推定するより精度の高い手法を開発すること。
• ニューラルネットワークの各層を、非拡大平均作用素（非線形活性化を表す）とアフィン写像（線形重みとバイアスを表す）の合成としてモデル化し、層間相互作用のより細かい分析を可能にすること。
• 個々の層のノルムを乗算して得られる緩い上限を避けることで、既存のリプシッツ推定値を改善すること。
• スカラー非線形活性化関数を用いるネットワークに特化したフレームワークを設計すること。これは、畳み込みニューラルネットワークを含む一般的なアーキテクチャを含む。

提案手法

• フレームワークは、各層を平均作用素（非線形活性化を表す）とアフィン変換（線形重みとバイアスを表す）の合成としてモデル化する。
• 作用素理論的ツールを活用して、全体のネットワークを非拡大作用素とアフィン作用素の合成として分析し、よりタイトなグローバルリプシッツ推定を可能にする。
• 個々の層の上限を集約するのではなく、合成系の固有値特性と作用素ノルムを分析することでリプシッツ定数を導出する。
• スカラー非線形性の場合は、構造的簡略化を活用して、得られるリプシッツ推定値をさらにタイトにする。
• 残差接続や畳み込み層を含むさまざまなネットワークタイプに一般化可能であり、それらの構造を平均作用素フレームワークに統合することで実現する。

実験結果

リサーチクエスチョン

• RQ1 層間相互作用をより正確にモデル化することで、順伝播型ニューラルネットワークにおけるよりタイトなリプシッツ定数をどのように導出できるか？
• RQ2 平均作用素の合成は、標準的なノルム積に基づく上限に比べて、ロバストネス証明においてどのような点で向上をもたらすか？
• RQ3 本フレームワークは、スカラー非線形活性化関数を有するネットワークに対して、改善された推定値を導出できるか？
• RQ4 本手法は、既存のリプシッツ推定技術と比較して、タイトさと実世界のアーキテクチャへの適用可能性の面でどのように優れているか？

主な発見

• 本手法は、層間依存性を捉えることで、標準的な層ノルム積法に比べて顕著にタイトなリプシッツ定数を達成する。
• 抽象的かつ作用素ベースの定式化により、残差接続や畳み込み層を含む順伝播型ネットワークに広く適用可能である。
• ReLU やシグモイドなどのスカラー非線形性を有するネットワークでは、構造的簡略化を活用することで、リプシッツ推定値のさらなる改善が達成される。
• 本分析は、緩いノルム積に依存する従来の手法よりも、より正確でより一般的なロバストネス証明の理論的基盤を提供する。