[論文レビュー] Network Deconvolution

Chengxi Ye, Matthew Evanusa+6 more|arXiv (Cornell University)|May 28, 2019

Blind Source Separation Techniques参考文献 16被引用数 16

ひとこと要約

この論文では、畳み込みニューラルネットワーク（CNN）の各層の前に行われ、最適なL2ベースの逆フィルタリングを用いて画素単位およびチャネル単位の相関を除去する、ネットワーク・デコンボリューションという手法を紹介する。この手法は、CIFAR-10/100、MNIST、Fashion-MNIST、Cityscapes、ImageNetの複数のベンチマークで、アーキテクチャの変更なしにバッチ正規化を上回る性能を示し、10種類の現代的CNNアーキテクチャにおいて、収束が速く、精度が優れている。

ABSTRACT

Convolution is a central operation in Convolutional Neural Networks (CNNs), which applies a kernel to overlapping regions shifted across the image. However, because of the strong correlations in real-world image data, convolutional kernels are in effect re-learning redundant data. In this work, we show that this redundancy has made neural network training challenging, and propose network deconvolution, a procedure which optimally removes pixel-wise and channel-wise correlations before the data is fed into each layer. Network deconvolution can be efficiently calculated at a fraction of the computational cost of a convolution layer. We also show that the deconvolution filters in the first layer of the network resemble the center-surround structure found in biological neurons in the visual regions of the brain. Filtering with such kernels results in a sparse representation, a desired property that has been missing in the training of neural networks. Learning from the sparse representation promotes faster convergence and superior results without the use of batch normalization. We apply our network deconvolution operation to 10 modern neural network models by replacing batch normalization within each. Extensive experiments show that the network deconvolution operation is able to deliver performance improvement in all cases on the CIFAR-10, CIFAR-100, MNIST, Fashion-MNIST, Cityscapes, and ImageNet datasets.

研究の動機と目的

• CNNにおける重複した相関のある特徴が学習効率とモデル性能を妨げるという課題に対処すること。
• 畳み込み層のコストの一部にとどまるような、効率的なデコリレーション手法を開発すること。
• バッチ正規化を、デコンボリューションに基づくより効果的で生物学的にインスピレーションを受けて設計された正規化技術に置き換えること。
• デコリレーションされた特徴がスパース表現をもたらし、最適化が速くなり、一般化性能が向上することを示すこと。
• アーキテクチャに依存しない汎用的なバッチ正規化の代替手段を提供し、多様なデータセットとモデルで性能を向上させること。

提案手法

• ネットワーク・デコンボリューションは、画素およびチャネル活性の相関行列の逆行列をとることで、特徴のデコリレーションを実現する最適なL2逆変換を適用する。
• 計算コストを低減するために、共分散行列Kの低ランク近似を用いてその逆行列を計算する。
• 前向き伝搬において、畳み込み層や全結合層の前に入力特徴をK⁻¹によって変換することで、この手法を実装する。
• 明示的な行列逆転を避けるために反復的ソルバーを用いる暗黙のデコンボリューション技術を導入し、畳み込みより低い計算コストを実現する。
• このアプローチは、すべての評価対象モデルでバッチ正規化の代わりに各層の前処理として適用される。
• 1×1畳み込み層および全結合層では、この手法によりユニット間の相関を除去することで、隠れユニットのデコリレーションが行われる。

実験結果

リサーチクエスチョン

• RQ1 CNN特徴における画素単位およびチャネル単位の相関を除去することで、学習収束性とモデル精度が向上するか？
• RQ2 ネットワーク・デコンボリューションは、多様なアーキテクチャとデータセットにおいて、バッチ正規化よりも優れた正規化手法であるか？
• RQ3 デコンボリューションによって得られるスパース表現が、最適化を速くし、一般化性能を向上させるか？
• RQ4 深層ネットワークにおいて実用的であるほどに、デコンボリューションは十分に効率的に計算可能か（フル畳み込みよりコストが低いか）？
• RQ5 中心-周囲の受容野という生物学的インスピレーションは、人工ニューラルネットワークの性能向上に有効であるか？

主な発見

• ネットワーク・デコンボリューションは、CIFAR-10、CIFAR-100、MNIST、Fashion-MNIST、Cityscapes、ImageNetのすべてのベンチマークで、評価された10種類の現代的CNNアーキテクチャにおいて精度を向上させた。
• CIFAR-10では、20エポックの学習でデコンボリューションを用いた場合、バッチ正規化を用いた100エポックの学習と同等の性能を達成した。
• ImageNetでは、VGG-11にデコンボリューションを適用したところ、トップ-1精度が71.95%に達し、バッチ正規化を用いた元のVGG-13（71.55%）を+0.40%上回った。
• VGG-11では、デコンボリューションによる向上幅がバッチ正規化の2倍（+1.36%）にのぼった。
• 全結合ネットワークでもデコンボリューションはバッチ正規化を上回り、畳み込み層に限らない一般化性能を示した。
• 最初の層におけるデコンボリューションフィルタは、生物学的視細胞に類似した中心-周囲構造を示し、この手法の生物学的妥当性を裏付けた。