[論文レビュー] Competitive Multi-scale Convolution

Zhibin Liao, Gustavo Carneiro|arXiv (Cornell University)|Nov 18, 2015

Advanced Neural Network Applications参考文献 29被引用数 40

ひとこと要約

本論文では、Inceptionモジュール内のマルチスケールフィルタの連結を、競争的なプーリングユニットに置き換える競争的マルチスケール畳み込みモジュールを提案する。この手法により、共適応の低減と次元削減が実現され、サブネットワークの特化が可能になる。この方法により、MNIST、CIFAR-10、CIFAR-100、SVHNの各ベンチマークで最先端または競争力のある結果が得られ、フィルタ間の決定的競争によってロバストで正則化された学習が促進される。

ABSTRACT

In this paper, we introduce a new deep convolutional neural network (ConvNet) module that promotes competition among a set of multi-scale convolutional filters. This new module is inspired by the inception module, where we replace the original collaborative pooling stage (consisting of a concatenation of the multi-scale filter outputs) by a competitive pooling represented by a maxout activation unit. This extension has the following two objectives: 1) the selection of the maximum response among the multi-scale filters prevents filter co-adaptation and allows the formation of multiple sub-networks within the same model, which has been shown to facilitate the training of complex learning problems; and 2) the maxout unit reduces the dimensionality of the outputs from the multi-scale filters. We show that the use of our proposed module in typical deep ConvNets produces classification results that are either better than or comparable to the state of the art on the following benchmark datasets: MNIST, CIFAR-10, CIFAR-100 and SVHN.

研究の動機と目的

• マルチスケール畳み込みフィルタ間の共適応を解消するため、複数スケールのフィルタに競争を導入すること。
• 競争的活性化によるサブネットワークの特化を通じて、モデルの一般化性能と学習効率を向上させること。
• 連結をmaxoutベースの次元削減に置き換えることで、モデルのパラメータ数を削減すること。
• MNIST、CIFAR-10、CIFAR-100、SVHNといったベンチマークデータセットにおける性能向上を、競争的でマルチスケールな畳み込みモジュールを用いて実現すること。
• 畳み込み層において、確率的メソッド（例：ドロップアウトやDropConnect）と比較して、決定的マスキングの有効性を検証すること。

提案手法

• 提案されたモジュールは、入力特徴マップに対して並列に複数のマルチスケール畳み込みフィルタを適用する。
• 各フィルタ出力はバッチ正則化ユニット（BNUs）を用いて正規化され、スケールのバランスを保ち、モデルの前処理を促進する。
• 正規化された出力は、すべてのスケールにおいて最大の活性化を選択するmaxoutユニットに供給され、競争を強制する。
• この競争的プーリングにより、出力次元が削減され、最も反応の良いフィルタのみが選択されることで共適応が防止される。
• このモジュールは、標準的な深層畳み込みニューラルネットワークアーキテクチャに統合され、標準的なInceptionモジュールに置き換えられる。
• この手法は、畳み込み層において確率的ドロップアウトやDropConnectを避ける決定的マスキング（maxout）を用いる。

実験結果

リサーチクエスチョン

• RQ1 マルチスケール畳み込みモジュールにおいて、連結を競争的プーリングに置き換えることで、一般化性能の向上と共適応の低減が達成できるか？
• RQ2 マルチスケールフィルタにmaxoutを適用することで、標準的なInceptionモジュールよりも優れた性能が得られるか？
• RQ3 畳み込み層において、決定的競争は確率的正則化（例：DropConnect）と比較してどのように性能を発揮するか？
• RQ4 提案されたモジュールは、標準的な視覚ベンチマークで最先端の性能を達成できるか？
• RQ5 競争的モジュールにおけるフィルタサイズや数の増加は、性能向上に寄与するか、あるいは利益なしにパラメータ数を増加させるか？

主な発見

• 競争的マルチスケール畳み込みモジュールは、MNISTでテスト誤差0.29%を達成し、最先端の結果を上回った。
• CIFAR-10では1.69%のテスト誤差を達成し、テストされたすべての手法の中で最高の結果を出した。
• SVHNでは1.69%のテスト誤差を達成し、最先端の性能と同等またはそれを上回った。
• maxoutベースの次元削減により、パラメータ数が削減された一方で、精度は維持または向上した。
• 実験の結果、畳み込み層においてmaxoutによる決定的マスキングは、ドロップコネクトなどの確率的手法を上回り、壊滅的忘却を回避した。
• フィルタサイズや数の増加は性能向上に寄与せず、パラメータ数が増加するだけで効率的でないことが確認された。