[論文レビュー] Learned Deformation Stability in Convolutional Neural Networks.

Avraham Ruderman, Neil C. Rabinowitz+2 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Neural Network Applications参考文献 14被引用数 10

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）における変形安定性のためのインタリーブドプーリングが不可欠であるという長年の仮定に挑戦する。厳密な実験的検証を通じて、変形不変性は二値的ではなく、タスクや層によって変動し、訓練中にフィルタの滑らかさによって動的に調整され、プーリングは実際にはネットワークを過剰に安定化させてしまう——その結果、ネットワークがそのインダクティブバイアスを相殺するために学習する必要が生じる。本研究は、変形安定性がアーキテクチャ設計ではなく、訓練の過程で自然に生じることを明らかにした。

ABSTRACT

Many of our core assumptions about how neural networks operate remain empirically untested. One common assumption is that convolutional neural networks need to be stable to small translations and deformations to solve image recognition tasks. For many years, this stability was baked into CNN architectures by incorporating interleaved pooling layers. Recently, however, interleaved pooling has largely been abandoned. This raises a number of questions: Are our intuitions about deformation stability right at all? Is it important? Is pooling necessary for deformation invariance? If not, how is deformation invariance achieved in its absence? In this work, we rigorously test these questions, and find that deformation stability in convolutional networks is more nuanced than it first appears: (1) Deformation invariance is not a binary property, but rather that different tasks require different degrees of deformation stability at different layers. (2) Deformation stability is not a fixed property of a network and is heavily adjusted over the course of training, largely through the smoothness of the convolutional filters. (3) Interleaved pooling layers are neither necessary nor sufficient for achieving the optimal form of deformation stability for natural image classification. (4) Pooling confers too much deformation stability for image classification at initialization, and during training, networks have to learn to counteract this inductive bias. Together, these findings provide new insights into the role of interleaved pooling and deformation invariance in CNNs, and demonstrate the importance of rigorous empirical testing of even our most basic assumptions about the working of neural networks.

研究の動機と目的

• CNNにおける画像認識のための変形安定性が不可欠であるという広く受け入れられた仮定を検証すること。
• インタリーブドプーリングが変形不変性を達成するために必要であるかどうかを調査すること。
• プーリングなしの現代的CNNにおける訓練過程での変形安定性の変化を理解すること。
• 変形安定性が固定されたアーキテクチャ的特性であるのか、それとも学習された動的特性であるのかを特定すること。
• プーリングが初期の変形安定性に与える影響と、その訓練への影響を評価すること。

提案手法

• 著者らは、標準的な画像分類ベンチマーク上で、インタリーブドプーリングを有する・なしの複数のCNNアーキテクチャを訓練した。
• 入力画像に対する制御された摂動を用いて、異なる層での変形安定性を評価した。
• 変形安定性の代理指標として、学習された畳み込みフィルタの滑らかさを分析した。
• 訓練エポックにわたる変形不変性の変化を追跡し、動的な適応を観察した。
• プーリングあり・なしで初期化されたネットワークを比較し、プーリングがもたらすインダクティブバイアスを評価した。
• 勾配ベースの解析を用いて、フィルタ重みがプーリングによる過剰な安定化を相殺するためにどのように調整されるかを調査した。

実験結果

リサーチクエスチョン

• RQ1 変形不変性は二値的特性であるのか、それともCNNにおけるタスクや層によって度合いが異なるのか？
• RQ2 インタリーブドプーリングは、画像分類における最適な変形安定性を達成するために必要かつ十分であるのか？
• RQ3 プーリングなしの現代的CNNにおける訓練過程での変形安定性の変化はいかなるものか？
• RQ4 プーリングはネットワークを過剰に安定化させるインダクティブバイアスを導入するのか？その結果、訓練中にそれを相殺する学習が必要になるのか？
• RQ5 変形安定性は、アーキテクチャ設計の結果ではなく、フィルタの滑らかさを通じて学習されるものなのか、その程度はどの程度か？

主な発見

• 変形不変性は二値的特性ではなく、タスクや層によって度合いが異なり、異なる深さで異なる要件を示す。
• 変形安定性は固定されたものではなく、主に畳み込みフィルタの滑らかさを通じて訓練中に動的に調整される。
• インタリーブドプーリングは、画像分類における最適な変形安定性を達成するために、必要でも十分でもない。
• プーリングは初期段階で過剰な変形安定性を導入し、ネットワークが訓練中にそのインダクティブバイアスを相殺するために学習する必要が生じる。
• 変形安定性の出現は、プーリングのようなアーキテクチャ的要素の直接的結果ではなく、フィルタの滑らかさによって駆動される学習現象である。
• プーリングなしで訓練されたネットワークは、フィルタの適応を通じてタスク固有の変形不変性を学習することで、同等またはより優れた一般化性能を達成する。