[論文レビュー] How far can we go without convolution: Improving fully-connected networks

Zhouhan Lin, Roland Memisevic+1 more|arXiv (Cornell University)|Nov 9, 2015

Advanced Neural Network Applications参考文献 3被引用数 30

ひとこと要約

この論文は、畳み込み層を用いずに、線形ボトルネック層とバイアスなし自己符号化器を用いた教師なし事前学習を採用することで、完全結合ネットワークが画像分類で高い性能を達成できることを示している。これらの手法は勾配の流れを改善し、活性化のスパarsityを低減する。データ拡張を用いることで、完全結合ネットワークはCIFAR-10で78.62%の精度に達し、最先端の畳み込みネットワークから約10%の差にとどまる。

ABSTRACT

We propose ways to improve the performance of fully connected networks. We found that two approaches in particular have a strong effect on performance: linear bottleneck layers and unsupervised pre-training using autoencoders without hidden unit biases. We show how both approaches can be related to improving gradient flow and reducing sparsity in the network. We show that a fully connected network can yield approximately 70% classification accuracy on the permutation-invariant CIFAR-10 task, which is much higher than the current state-of-the-art. By adding deformations to the training data, the fully connected network achieves 78% accuracy, which is just 10% short of a decent convolutional network.

研究の動機と目的

• 完全結合ネットワークが重み共有や畳み込みに依存せずに画像分類で高い性能を達成できるかを調査すること。
• 深く完全結合されたネットワークにおける勾配の流れと活性化のスパarsityの課題に対処すること。
• 畳み込みアーキテクチャの代替として生物学的に妥当でハードウェア効率の良い手法を検討すること。
• 線形ボトルネック層とバイアスなし自己符号化器の事前学習がネットワーク性能に与える影響を評価すること。
• スパarsityを最適化や一般化性能を損なわずに効果的に管理できるかを検証すること。

提案手法

• 高次元のReLU活性化層の間に、低次元の線形変換である線形ボトルネック層を導入し、勾配の流れを改善し、スパarsityを低減する。
• 隠れユニットにバイアスを含めない自己符号化器を用いた教師なし事前学習を実施し、直交行列初期化を促進し、学習の安定化を図る。
• Z-LINアーキテクチャを採用：線形ボトルネック層（Z）とReLU活性化層（Lin）を交互に配置し、このようなブロックを深くスタックする。
• 事前学習段階でドロップアウトを適用し、微調整段階でも同様に正則化を施すことで、モデルの正則化を図る。
• データ拡張（反転、回転、シフト）を適用し、完全結合ネットワークにおける置換不変性の欠如を補い、一般化性能を向上させる。
• 置換不変性を持つCIFAR-10におけるベースラインモデル（ロジスティック回帰、深層MLP、RBM、および先行研究の最先端手法）と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 完全結合ネットワークは畳み込みの誘導的バイアスを欠いても、画像分類で高い性能を達成できるか？
• RQ2 線形ボトルネック層は、深く完全結合されたネットワークにおける勾配の流れとスパarsityにどのように影響するか？
• RQ3 隠れユニットにバイアスを含めない自己符号化器の学習が、その後の分類性能に与える影響は何か？
• RQ4 データ拡張は、完全結合ネットワークにおける置換不変性の欠如をどの程度補えるか？
• RQ5 PReLUやMaxoutと比較して、これらのアーキテクチャ的および事前学習的選択は最適化と精度の面でどの程度優れているか？

主な発見

• 線形ボトルネック層とバイアスなし自己符号化器の事前学習を施した完全結合ネットワークは、置換不変性を持つCIFAR-10タスクで69.62%の精度を達成し、先行の最先端手法（63.1%および63.9%）を上回った。
• データ拡張（反転、回転、シフト）を適用した同じ完全結合アーキテクチャは、78.62%の精度に達し、良好に訓練された畳み込みネットワークから約10%の差にとどまった。
• 線形ボトルネック層の導入により、スパarsityの低減と勾配の流れの改善が実現され、消失勾配問題が緩和された。
• バイアスなし自己符号化器による事前学習は、重みの部分集合を直交化し、最適化を改善する効果があり、性能向上に寄与した。
• 線形ボトルネック層とバイアスなし事前学習の組み合わせは、置換不変性CIFAR-10ベンチマークにおいて、PReLUやMaxoutを用いた同等のネットワークを上回った。
• 結果として、スパarsityと勾配の流れを適切に管理するアーキテクチャ的選択がなされれば、重み共有のような誘導的バイアスがなくても、完全結合ネットワークが非常に効果的であることが示された。