[論文レビュー] Doubly Convolutional Neural Networks

Shuangfei Zhai, Yu Cheng+2 more|arXiv (Cornell University)|Oct 30, 2016

Advanced Neural Network Applications参考文献 21被引用数 32

ひとこと要約

本稿では、空間的に平行移動されたフィルタのグループによるパラメータ共有を促進する二重畳み込み演算を導入することで、標準的なCNNを強化する二重畳み込みニューラルネットワーク（DCNN）を提案する。この手法は、パrameter数を増やさなくてもCIFAR-10、CIFAR-100、ImageNetの各ベンチマークで、標準CNNやmaxoutネットワークを常に上回るモデルの精度とパrameter効率を実現する。

ABSTRACT

Building large models with parameter sharing accounts for most of the success of deep convolutional neural networks (CNNs). In this paper, we propose doubly convolutional neural networks (DCNNs), which significantly improve the performance of CNNs by further exploring this idea. In stead of allocating a set of convolutional filters that are independently learned, a DCNN maintains groups of filters where filters within each group are translated versions of each other. Practically, a DCNN can be easily implemented by a two-step convolution procedure, which is supported by most modern deep learning libraries. We perform extensive experiments on three image classification benchmarks: CIFAR-10, CIFAR-100 and ImageNet, and show that DCNNs consistently outperform other competing architectures. We have also verified that replacing a convolutional layer with a doubly convolutional layer at any depth of a CNN can improve its performance. Moreover, various design choices of DCNNs are demonstrated, which shows that DCNN can serve the dual purpose of building more accurate models and/or reducing the memory footprint without sacrificing the accuracy.

研究の動機と目的

• 学習済みフィルタ内の構造的再冗長性を活用することで、深層CNNの一般化性能を向上させること。
• メモリ使用量を抑えることで、精度を維持または向上させるパrameter効率の高いアーキテクチャを開発すること。
• あらゆるネットワークの深さにおいて、性能を向上させる標準畳み込み層の即座に置き換え可能なプラグイン型の代替手段を提供すること。
• 学習済みCNNの各層において、フィルタの平行移動相関が一貫した性質を示すことを実証すること。
• DCNNが、性能とモデルサイズのバランスを柔軟に設定可能であることを検証すること。

提案手法

• メタフィルタを用いて、アイデンティティカーネルとの畳み込みによって複数の空間的に平行移動されたフィルタを生成する二重畳み込み層を導入する。
• 二段階の畳み込み処理を適用する：まず、アイデンティティカーネルとの畳み込みによりメタフィルタから有効なフィルタを抽出し、次にそれらを連結して入力と畳み込む。
• 同じメタフィルタから導出された活性化値に対して、maxoutネットワークを参考にしたオプションのマックスプーリングを実装する。
• フィルタの空間的平行移動における類似度を測る指標としてk-平行移動相関を定義し、学習済みCNNにおいて高い相関が観察されることを示す。
• 標準的なディープラーニングライブラリを用いて、既存の畳み込み演算を活用してDCNNを実装し、実用的な展開性を確保する。
• ハイパーパramータz′（メタフィルタサイズ）、z（メタフィルタ数）、s（ストライド）、および有効フィルタサイズを用いてDCNNを構成し、柔軟なアーキテクチャ設計を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CNNにフィルタの平行移動関係を強制することで、一般化性能とパrameter効率が向上するか？
• RQ2 二重畳み込み演算をCNNの任意の層に適用しても、一貫して性能が向上するか？
• RQ3 DCNNは、パrameter数を減らしても、標準CNNやmaxoutネットワークを上回る精度を達成できるか？
• RQ4 学習済みCNNの各層において、フィルタの平行移動相関の程度はどのように変化するか？
• RQ5 DCNNの構成において、モデルの精度、パrameter数、メモリ使用量のトレードオフはどのように変化するか？

主な発見

• DCNNはImageNetにおいてトップ-1誤差26.27%を達成し、パrameter効率において標準CNN（29.42%）およびResNet-152（21.43%）を顕著に上回る。
• 任意の1つの畳み込み層を二重畳み込み層に置き換えることでテスト誤差が低下し、特に低層部が性能向上に寄与している。
• DCNN-4-10-3-1は、ベースラインCNNの69%のパrameter数でCIFAR-10で9.65%の誤差を達成し、精度に損なわれることなくメモリ効率を実現した。
• 学習済みCNN（例：AlexNetやVGG-19）における平均的最大1-平行移動相関は、ランダム初期化されたフィルタよりも顕著に高く、構造的再冗長性仮説の妥当性を裏付けた。
• DCNN-128-4-3-2はCIFAR-10で8.58%、CIFAR-100で30.35%の誤差を達成し、パrameter数が78%多い標準CNN（9.85%および34.26%）を上回った。
• テストされたすべてのDCNNバージョンが、パrameter数に関係なく、標準CNNの対応バージョンを一貫して上回り、そのロバストネスと柔軟性を確認した。