[論文レビュー] Fix your classifier: the marginal value of training the last weight layer

Elad Hoffer, Itay Hubara+1 more|arXiv (Cornell University)|Jan 14, 2018

Stochastic Gradient Optimization Techniques被引用数 60

ひとこと要約

本論文は、CNNs の最終線形分類器を固定正交変換（Hadamard など）に置換・固定することで、精度をほぼ維持しつつ学習可能パラメータを大幅に削減し、推論の速度向上も期待できることを示している。

ABSTRACT

Neural networks are commonly used as models for classification for a wide variety of tasks. Typically, a learned affine transformation is placed at the end of such models, yielding a per-class value used for classification. This classifier can have a vast number of parameters, which grows linearly with the number of possible classes, thus requiring increasingly more resources. In this work we argue that this classifier can be fixed, up to a global scale constant, with little or no loss of accuracy for most tasks, allowing memory and computational benefits. Moreover, we show that by initializing the classifier with a Hadamard matrix we can speed up inference as well. We discuss the implications for current understanding of neural network models.

研究の動機と目的

• CNN の最終分類層のパラメータ数を精度を損ねずに削減する動機づけ。
• 固定線形変換（正交、Hadamard）を最終分類器として提案し、訓練ダイナミクスを検討する。
• CIFAR-10/100、ImageNet、言語モデリングで固定分類器を評価し、汎用性を評価する。
• 大規模データセットとメモリ・計算資源制約下でのデバイス展開の実用的影響を分析する。

提案手法

• 最終線形分類器の trainable W を、列 q_i が直交・単位長の固定直交射影 Q に置換。
• 最終表現 x を単位 L2 ノルムに正規化し、ソフトマックス入力をスケーリングするスカラー α と、バイアス b を導入する。 s_i = softmax(α q_i·x̂ + b_i)。
• オプションとして、係数を保持せず計算を単純化するため、固定 Hadamard 行列 Ĥ（C×N、±1 のエントリ）を最終分類器として用い、出力 y = Ĥ x̂ + b とする。
• ソフトマックスの代替としてコサイン角度損失を探索する。
• CIFAR-10/100、ImageNet の様々なアーキテクチャ（ResNet、DenseNet、ShuffleNet）と WikiText-2 による言語モデリングで、学習済み分類器と固定分類器を比較する。

実験結果

リサーチクエスチョン

• RQ1 一般的な CNN タスクで、固定の最終分類器が学習済み分類器と同等の精度を維持できるか。
• RQ2 分類器を固定することが訓練ダイナミクス、パラメータ数、メモリ使用量に与える影響は何か。
• RQ3 Hadamard または正交の固定変換が、性能を犠牲にせず計算・メモリの利点を提供するか。
• RQ4 言語モデリングのようなドメインで、クラス相関や埋め込みの役割の関係で固定分類器が効果を欠く場合はあるか。

主な発見

• 固定分類器は CIFAR-10/100 および ImageNet の複数アーキテクチャで、学習分類器とほぼ同等の検証精度を達成する。
• 最終層の学習可能パラメータを削除すると、学習可能パラメータの割合が大幅に減少する（例: CIFAR-10 ResNet56 で 0.07%、CIFAR-100 DenseNet で 4.2%、ImageNet ResNet50 で 8.01%、ImageNet DenseNet169 で 11.76%、ImageNet ShuffleNet で 52.56%）。
• 固定 Hadamard 行列を最終分類器として用いるとメモリの利得が得られ、特定の設定で最終層の全パラメータを削除しても精度を損なわない。
• 言語モデリング（WikiText-2）では、固定のランダム正交埋めは学習済み埋め込みに比べて性能が低いが、固定変換を用いた事前学習済み word2vec 埋め込みはパラメータを約89%削減し、困難度の高いパープレックス性の低下は控えめ。
• ImageNet および CIFAR タスク全体で、固定分類器は学習と検証の挙動が類似して収束し、単一のスケールパラメータ α を学習させて性能を合わせることができる。