[論文レビュー] Training CNNs with Selective Allocation of Channels

Jongheon Jeong, Jinwoo Shin|arXiv (Cornell University)|May 24, 2019

Adversarial Robustness in Machine Learning被引用数 9

ひとこと要約

本稿では、チャネル選択性を持つ新しい畳み込み層を提案する。この層は、重要なチャネルにパラメータを動的に再割り当てすることで、パラメータ数を増やさずにモデル容量を向上させる。複数のアーキテクチャおよびデータセットにおける実験から、この手法は既存リソースを効率的に活用することで、より優れた一般化性能を達成することが示された。

ABSTRACT

Recent progress in deep convolutional neural networks (CNNs) have enabled a simple paradigm of architecture design: larger models typically achieve better accuracy. Due to this, in modern CNN architectures, it becomes more important to design models that generalize well under certain resource constraints, e.g. the number of parameters. In this paper, we propose a simple way to improve the capacity of any CNN model having large-scale features, without adding more parameters. In particular, we modify a standard convolutional layer to have a new functionality of channel-selectivity, so that the layer is trained to select important channels to re-distribute their parameters. Our experimental results under various CNN architectures and datasets demonstrate that the proposed new convolutional layer allows new optima that generalize better via efficient resource utilization, compared to the baseline.

研究の動機と目的

• 厳密なパラメータ制約下でCNNの性能を向上させるという課題に対処すること。
• パラメータ数を増やさずにモデル容量を向上させる方法を検討すること。
• 畳み込み層内の最も重要なチャネルにパラメータを効率的に割り当てる学習可能なメカニズムを設計すること。
• 既存のモデル容量内でのパラメータ分布の最適化により、一般化性能を向上させること。

提案手法

• 学習可能なアテンションまたはゲーティング機構を用いて、チャネル選択性を実現する修正された畳み込み層を導入すること。
• ネットワークを訓練し、特徴量の重要度に基づいて最も情報量の多いチャネルにパラメータを再割り当てすること。
• アーキテクチャの大幅な見直しを伴わずに、標準的なCNNアーキテクチャに選択的チャネル層を統合すること。
• エンドツーエンドの学習を用いて、特徴抽出とチャネル選択を同時に最適化すること。
• バックプロパゲーションがチャネル割り当て意思決定を通過できるように、微分可能ルーティング機構を適用すること。
• ベースラインと同一の総パラメータ数を維持し、モデルサイズの増加を防ぐこと。

実験結果

リサーチクエスチョン

• RQ1 より重要なチャネルに既存のパラメータを動的に再割り当てすることで、パラメータ数を増やさずにCNNの一般化性能を向上させることは可能か？
• RQ2 チャネル選択的パラメータ割り当ては、多様なCNNアーキテクチャおよびデータセットにおいて、性能にどのように影響を与えるか？
• RQ3 提案手法は、同じパラメータ数を有する標準CNNと比較して、より優れた一般化性能を達成するか？
• RQ4 チャネル選択の影響は、特徴表現の質およびモデルのロバストネスにどのような影響を与えるか？

主な発見

• 提案されたチャネル選択性を持つ層は、パラメータ数を増やさずに、ResNet や MobileNet などの複数のCNNアーキテクチャで一般化性能を向上させた。
• 同じパラメータ予算のもとで、ImageNet および CIFAR-10 ベンチマークにおいて、標準的なベースラインと比較して高い精度を達成した。
• 選択的チャネル割り当てを施したモデルは、分布シフトや過学習に対してより高いロバストネスを示した。
• チャネル選択メカニズムは、意味のある、タスク固有のチャネル重要度を学習しており、効果的なパラメータ利用が可能であることが示された。