[論文レビュー] Computational Separation Between Convolutional and Fully-Connected Networks

Eran Malach, Shai Shalev‐Shwartz|arXiv (Cornell University)|Oct 3, 2020

Advanced Neural Network Applications参考文献 35被引用数 11

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）と全結合ネットワーク（FCN）の間で計算的分離を確立し、CNNが勾配降下法を用いて局所構造が強い関数——特に連続する入力ビットの少数に依存する関数——を効率的に学習できることを示している一方で、多項式サイズのFCNはそのような学習に失敗することを示している。主な結果は、CNNの局所性へのインダクティブバイアスが、パラメータ効率性や重み共有そのものよりも、計算的優位性を生じさせることを理論的に証明していることである。

ABSTRACT

Convolutional neural networks (CNN) exhibit unmatched performance in a multitude of computer vision tasks. However, the advantage of using convolutional networks over fully-connected networks is not understood from a theoretical perspective. In this work, we show how convolutional networks can leverage locality in the data, and thus achieve a computational advantage over fully-connected networks. Specifically, we show a class of problems that can be efficiently solved using convolutional networks trained with gradient-descent, but at the same time is hard to learn using a polynomial-size fully-connected network.

研究の動機と目的

• コンピュータビジョンタスクにおいてFCNがより高い表現力を持つにもかかわらず、なぜ畳み込みニューラルネットワーク（CNN）が優れた性能を示すのかを理論的に説明すること。
• 局所的データ構造——特に連続する入力ビットに依存する関数——が、CNNの優れた性能を可能にする主な要因であることを分離し、実証すること。
• 両者とも多項式サイズである場合でも、局所構造を持つ関数を学習する際、CNNとFCNの間に計算ギャップが存在することを示すこと。
• 入力長と局所構造の設定を変化させたMNISTベースのシーケンスタスクを用いて、理論的発見を実証的に検証すること。

提案手法

• 強い局所構造をモデル化するため、出力が入力のk個の連続ビットにのみ依存する関数の族「kパターン」を導入する。
• 多項式サイズのCNNが勾配降下法を用いて（log n）パターンを多項式時間で学習できることを証明する。
• 多項式サイズのFCNが勾配降下法を用いて（log n）パターンを学習できないことの証明により、計算的分離を確立する。
• 置換不変性と正規直交基底分解（パーサバルの定理を用いて）を用いて、勾配ダイナミクスと一般化誤差を分析する。
• ランダムな置換に関する分布的議論を用いて、入力シフトが勾配更新に与える影響を上限付ける。
• ラベルが中央または非連続的な桁のパリティに依存するMNISTシーケンスを用いた実証的評価を行い、FCN、CNN、局所接続ネットワーク（LCN）を比較する。

実験結果

リサーチクエスチョン

• RQ1 CNNとFCNの間で、視覚タスクにおけるCNNの実証的優位性を説明する計算的分離を確立できるか？
• RQ2 CNNの優位性は、パラメータ効率性、重み共有、それともデータの構造的局所性へのインダクティブバイアスに起因するのか？
• RQ3 CNNは勾配降下法を用いて、連続する入力ビットに依存する強い局所構造を持つ関数を効率的に学習できるが、FCNはそのような学習に失敗するのか？
• RQ4 局所構造を破壊する（例：非連続なビットを使用する）と、CNNとFCNの間の性能優位性は消えるのか？

主な発見

• 計算的分離が証明された：CNNは勾配降下法を用いて（log n）パターンを多項式時間で学習できるが、多項式サイズのFCNはそのような学習ができない。
• 実験では、入力長が増加するにつれて、FCNの性能は顕著に低下し、n=19で運任せの精度にまで低下する。
• ラベルが連続するビットに依存する場合、CNNとLCNは入力長に関係なく高い精度を維持する。これは、局所性の役割を確認するものである。
• ラベルが非連続な桁に依存する（局所構造を破壊する）場合、小規模なnではFCNがCNNやLCNを上回る性能を示す。これは、局所構造がなければ優位性が消失することを示している。
• 実証的結果から、CNNの理論的優位性が重み共有やパラメータ効率性ではなく、局所性へのインダクティブバイアスに起因していることが確認された。
• 理論的分析により、過剰パラメータ化でさえも、FCNでは勾配降下法が（log n）パターンを学習できないことが示された。これは、局所的インダクティブバイアスの欠如に起因する。