[論文レビュー] Convolutional Neural Networks as 2-D systems

Dennis Gramlich, Patricia Pauli+3 more|arXiv (Cornell University)|Jan 1, 2023

Model Reduction and Neural Networks被引用数 3

ひとこと要約

本稿は、畳み込みニューラルネットワーク（CNN）を2次元（2-D）線形時不変（LTI）システムとしてモデル化することで、2-Dシステム表現を導入し、2-D Luréシステムの定式化を可能にした。分散性理論と凸最適化を用いて、敵対的攻撃に対するロバスト性に不可欠なCNNのリプシッツ定数の計算的に効率的な推定法を導出し、特に大規模なネットワークにおいて、LipSDPなどの既存手法に比べて優れた計算可能性を示した。

ABSTRACT

This paper introduces a novel representation of convolutional Neural Networks (CNNs) in terms of 2-D dynamical systems. To this end, the usual description of convolutional layers with convolution kernels, i.e., the impulse responses of linear filters, is realized in state space as a linear time-invariant 2-D system. The overall convolutional Neural Network composed of convolutional layers and nonlinear activation functions is then viewed as a 2-D version of a Lur'e system, i.e., a linear dynamical system interconnected with static nonlinear components. One benefit of this 2-D Lur'e system perspective on CNNs is that we can use robust control theory much more efficiently for Lipschitz constant estimation than previously possible.

研究の動機と目的

• CNNのリプシッツ定数を推定するための効率的なロバスト制御ベースの手法の不足に対処すること。
• 制御理論とディープラーニングを統合するために、CNNを2-D動的システムとして表現し、整備された2-Dシステム理論を活用すること。
• 凸最適化を用いて、全結合層を含む多層CNNに対するスケーラブルなリプシッツ定数推定を可能にすること。
• LipSDPのような既存手法の計算制限、特に中規模CNNで過剰なメモリ使用により失敗する問題を克服すること。
• 敵対的ロバストネスの評価に理論的根拠があり、計算的に扱えるアプローチを提供すること。

提案手法

• RoesserまたはFornasini-Marchesiniモデルに基づく状態空間実現を用いて、各畳み込み層を2-D線形時不変（LTI）システムとして表現する。
• 全CNNを、線形2-Dシステムと静的でセクター有界な非線形性（例：ReLU）が接続された2-D Luréシステムとして定式化する。
• 分散性理論を適用し、CNNのリプシッツ定数をバウンディングする凸最適化問題（半定値計画問題）を導出する。
• 畳み込みカーネル伝達関数の線形分数表現（LFR）を用いて2-Dシステムモデルを構築し、[47]のツールを介して効率的な計算を可能にする。
• Mosekなどのソルバを用いて、得られた凸最適化問題を解き、リプシッツ定数の上界を計算する。
• MNIST分類用のCNN（2層の畳み込み層と2層の全結合層）を用いて、LipSDPおよびToeplitzノルム手法と比較して、手法の有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みニューラルネットワークは、ロバスト制御ベースの解析を可能にする2-D動的システムとして効果的にモデル化可能か？
• RQ2 2-D Luréシステム定式化は、既存のCNN向けロバスト制御手法に比べ、より計算的に効率的なリプシッツ定数推定を可能にするか？
• RQ3 本手法は、ネットワークサイズや入力次元に対してどのようにスケーリングするか。特に、LipSDPのようなメモリ集約的アプローチと比較してどうか？
• RQ4 2-Dシステムフレームワークにおいて、リプシッツ上界のタイトさと計算コストのトレードオフは何か？
• RQ5 2-Dシステムアプローチは、畳み込み層と全結合層を統合的に扱うハイブリッドアーキテクチャを一貫したフレームワークで処理可能か？

主な発見

• 28×28 MNIST CNNに対して、2-Dシステム手法は82.7秒でリプシッツ定数の上界23.9を計算した。これに対し、LipSDPは334秒を要し、よりタイトな上界12.0を達成した。
• 14×14の入力サイズに縮小した場合、2-D手法は82.7秒で上界23.9を達成したが、LipSDPは同様の問題でメモリ不足に陥った。
• 2-D手法は大規模ネットワークに対しても計算的に実行可能であり、28×28入力では1550秒で上界18.9を達成し、スケーラビリティを示した。
• 2-D手法のリプシッツ上界（23.9）はLipSDP（12.0）より緩いが、大規模ネットワークにおける計算可能性を確保するための必須なトレードオフであった。
• 本手法は、ReLU活性化関数と全結合層を含む完全なCNNアーキテクチャのリプシッツ推定に成功した。これは、従来の2-D制御ベース手法が取り組めなかった分野であった。
• 結果から、2-Dシステム理論が、特に従来手法がメモリ制限で失敗する状況において、計算的に実行可能でスケーラブルなCNNのロバストネス解析フレームワークを提供することが確認された。