[論文レビュー] Do We Need Fully Connected Output Layers in Convolutional Networks?

Zhongchao Qian, Tyler L. Hayes+2 more|arXiv (Cornell University)|Apr 28, 2020

Advanced Neural Network Applications参考文献 32被引用数 4

ひとこと要約

この論文では、畳み込みニューラルネットワークの出力層を完全に削除し、最終畳み込み特徴マップからグローバル平均プーリングを用いて直接分類スコアを計算することで、分類性能を維持しつつパラメータを最大75%削減する手法を提案する。ImageNet-1K、CIFAR-100、Stanford Cars-196、Oxford Flowers-102の各データセットで標準モデルと同等の精度を達成した。この結果、学習可能な全結合層は分類タスクにおいて非効率的で、必要ではないことが示された。

ABSTRACT

Traditionally, deep convolutional neural networks consist of a series of convolutional and pooling layers followed by one or more fully connected (FC) layers to perform the final classification. While this design has been successful, for datasets with a large number of categories, the fully connected layers often account for a large percentage of the network's parameters. For applications with memory constraints, such as mobile devices and embedded platforms, this is not ideal. Recently, a family of architectures that involve replacing the learned fully connected output layer with a fixed layer has been proposed as a way to achieve better efficiency. In this paper we examine this idea further and demonstrate that fixed classifiers offer no additional benefit compared to simply removing the output layer along with its parameters. We further demonstrate that the typical approach of having a fully connected final output layer is inefficient in terms of parameter count. We are able to achieve comparable performance to a traditionally learned fully connected classification output layer on the ImageNet-1K, CIFAR-100, Stanford Cars-196, and Oxford Flowers-102 datasets, while not having a fully connected output layer at all.

研究の動機と目的

• 現代のCNNにおいて、画像分類タスクにおける全結合出力層の必要性を検証すること。
• 特にモバイルや組み込みアプリケーションを想定し、モデルのパラメータ数とメモリ使用量を削減すること。
• 固定分類器層の有効性と、出力層を完全に削除する手法の比較評価。
• 最終畳み込み層からのグローバル平均プーリングが、学習可能な全結合層に代わって性能を損なわずに機能するかどうかを検証すること。
• 大規模分類タスクにおける固定分類器手法の代替として、より単純でパラメータ効率の高い手法を提案すること。

提案手法

• 最終全結合層を、最終畳み込み特徴マップにグローバル平均プーリングを適用することで置き換える。
• 標準的なバックプロパゲーションを用いて、エンドツーエンドで訓練し、最終畳み込み層を直接分類タスクに最適化する。
• 分類器として固定された単位行列を用いることで、出力層に学習可能な重みを必要としなくなる。
• グローバル平均プールド特徴量に対して標準的な交差エントロピー損失を適用する。
• 学習可能な全結合層を備えたモデルおよび固定分類器ベースラインと比較し、性能とパラメータ数を評価する。
• 複数のデータセット（ImageNet-1K、CIFAR-100、Stanford Cars-196、Oxford Flowers-102）およびアーキテクチャ（MobileNet-v2、ShuffleNet-v2など）で評価する。

実験結果

リサーチクエスチョン

• RQ1 大規模画像データセットにおける分類性能が、全結合出力層を削除することで低下するか？
• RQ2 最終畳み込み層からのグローバル平均プーリングが、学習可能な全結合層と同等の性能を達成できるか？
• RQ3 学習可能なFC層、固定分類器層、出力層を完全に削除したモデルの間で、パラメータ効率はどのように比較されるか？
• RQ4 なぜ固定分類器手法は、出力層を完全に削除する本手法に劣るのか？
• RQ5 最終分類器層は、全体のモデル精度にどの程度寄与しているのか？

主な発見

• 提案手法は、ImageNet-1K、CIFAR-100、Stanford Cars-196、Oxford Flowers-102の各データセットで、全結合層を一切使用しないまま、標準モデルと同等のトップ-1精度を達成した。
• ShuffleNet-v2 x0.5では、パラメータ数を130万から30万にまで削減（最大75%削減）し、ImageNet-1Kの精度はわずかに低下した。
• ImageNet-100では性能劣化が認められず、ImageNet-1Kでの精度低下はモデルサイズの影響によるものであり、分類器層の欠如によるものではないことが示された。
• ハダマール行列やポリトープベースの行列を用いた固定分類器手法ですら、単に出力層を削除する手法に劣る。
• 最終全結合層は、特にMobileNet-v2のような効率的モデルでは37%のパラメータを占めているが、分類精度への寄与はほとんどないことが判明した。
• 本手法は、最終畳み込み層のチャネル数よりクラス数が少ないデータセットに限定されるが、これは固定分類器ベースラインとも共通の制約である。