[論文レビュー] Finding the Needle in the Haystack with Convolutions: on the benefits of architectural bias

Stéphane d’Ascoli, Levent Sagun+2 more|arXiv (Cornell University)|Jun 16, 2019

Generative Adversarial Networks and Image Synthesis被引用数 24

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）をその同等の完全結合ネットワーク（eFCN）に埋め込む手法を導入し、トレーニングダイナミクスの直接比較を可能にする。CNNを通常トレーニングし、所定の「リラックス時刻」でその重みをeFCN空間に埋め込み、制約なしでトレーニングを継続することで、著者らは、構造的バイアスと強化された表現力の両方を組み合わせることで、元のCNNや標準的なFCNを上回る性能を示すeFCNが得られることを示している。これは、FCNの損失関数の地形において、まれで一般化性能の高い領域に到達できることを示している。

ABSTRACT

Despite the phenomenal success of deep neural networks in a broad range of learning tasks, there is a lack of theory to understand the way they work. In particular, Convolutional Neural Networks (CNNs) are known to perform much better than Fully-Connected Networks (FCNs) on spatially structured data: the architectural structure of CNNs benefits from prior knowledge on the features of the data, for instance their translation invariance. The aim of this work is to understand this fact through the lens of dynamics in the loss landscape. We introduce a method that maps a CNN to its equivalent FCN (denoted as eFCN). Such an embedding enables the comparison of CNN and FCN training dynamics directly in the FCN space. We use this method to test a new training protocol, which consists in training a CNN, embedding it to FCN space at a certain ``relax time'', then resuming the training in FCN space. We observe that for all relax times, the deviation from the CNN subspace is small, and the final performance reached by the eFCN is higher than that reachable by a standard FCN of same architecture. More surprisingly, for some intermediate relax times, the eFCN outperforms the CNN it stemmed, by combining the prior information of the CNN and the expressivity of the FCN in a complementary way. The practical interest of our protocol is limited by the very large size of the highly sparse eFCN. However, it offers interesting insights into the persistence of architectural bias under stochastic gradient dynamics. It shows the existence of some rare basins in the FCN loss landscape associated with very good generalization. These can only be accessed thanks to the CNN prior, which helps navigate the landscape during the early stages of optimization.

研究の動機と目的

• 深層学習における構造的バイアスと最適化バイアスを分離すること。
• 同じ容量を持つにもかかわらず、空間的に構造化されたデータにおいてCNNがFCNよりも一般化性能に優れる理由を調査すること。
• CNNのインダクティブバイアスが、FCNの損失関数地形における優れた一般化領域にアクセスするために活用可能かどうかを検証すること。
• トレーニング中にCNNの制約を緩和することで、制約を維持したままトレーニングする場合よりも優れた性能が得られるかどうかを検討すること。
• 初期の最適化ダイナミクスが、複雑な損失関数地形を効果的に探索する役割を果たす仕組みを理解すること。

提案手法

• 著者らは、ネットワークの構造を保ちつつ、重み共有と局所性の制約を除去する、CNNの線形埋め込みをeFCNに定義している。
• CNNを通常の方法でトレーニングし、所定の「リラックス時刻」に達した時点で、その重みをeFCN空間に射影し、制約なしでトレーニングを再開する。
• eFCNは、リラックス時刻におけるCNNの重みで初期化され、完全なFCNパラメータ空間でトレーニングされる。
• この手法により、同じパラメータ空間内でのCNNとeFCNのトレーニングダイナミクスを直接比較可能となる。
• 著者らは、eFCN内の重みパターンを分析し、特に非局所ブロックにおけるテンプレートマッチング行動の出現を観察している。
• CIFAR-10を用いた実験では、複数のリラックス時刻を用いてこのプロトコルを適用し、一般化性能を評価している。

実験結果

リサーチクエスチョン

• RQ1 CNNの構造的インダクティブバイアスは、FCNの損失関数地形において、より優れた一般化領域へ最適化を誘導できるか？
• RQ2 中間トレーニング段階でCNNの制約を緩和することで、制約を維持したままトレーニングする場合と比較して性能が向上するか？
• RQ3 初期の最適化ダイナミクスが、FCNパラメータ空間のまれな高性能領域にアクセスする役割を果たすか？
• RQ4 FCN空間におけるCNN部分空間の近傍に、優れた一般化特性を示す特定の領域が存在するか？
• RQ5 CNNの事前知識とFCNの表現力の組み合わせにより、単独のアーキテクチャを上回る性能向上が達成可能か？

主な発見

• テストしたすべてのリラックス時刻において、eFCNはCNN部分空間に近く保たれており、初期トレーニング段階でも構造的バイアスが維持されていることが示された。
• 同じアーキテクチャの標準的なFCNと比較して、eFCNは高いテスト精度を達成しており、CNNの事前知識の恩恵が明確に示された。
• 特定の中間リラックス時刻では、eFCNが元のCNNを上回る性能を示した。これは、CNNのインダクティブバイアスとFCNの表現力の組み合わせが、優れた一般化をもたらすことを示している。
• eFCNの非局所重みブロックには、画像に類似した輪郭（シルエット）が明確に現れ、標準的なFCNには見られないテンプレートマッチング行動が顕在化している。
• このテンプレートマッチング行動は、畳み込み特徴抽出と組み合わせて初めて有効に機能し、CIFAR-10のような複雑なデータセットでは単体でのテンプレートマッチングでは失敗することが判明した。
• CNN部分空間からの距離が一定の閾値を超えると、性能は再び標準的なFCNレベルまで低下する。これは、CNN空間に近い狭い範囲にのみ高性能な領域が存在することを示しており、その領域は非常に限られた範囲に集中している。