[論文レビュー] Ensemble Soft-Margin Softmax Loss for Image Classification

Xiaobo Wang, Shifeng Zhang+4 more|arXiv (Cornell University)|May 10, 2018

Advanced Neural Network Applications参考文献 25被引用数 6

ひとこと要約

本稿では、特徴の区別能を向上させるためのソフトマージンソフトマックスと、ヒルバート＝シュミット独立性基準（HSIC）を用いた弱学習分類器のアンサンブルを組み合わせた、新たな損失関数であるEnsemble Soft-Margin Softmax（EM-Softmax）を提案する。EM-Softmaxは、モデルアveraging やドロップアウトベースのアンサンブルと比較して、より小さなモデルサイズと短い学習時間を実現しながら、CIFAR-10およびCIFAR-100で最先端の精度を達成する。

ABSTRACT

Softmax loss is arguably one of the most popular losses to train CNN models for image classification. However, recent works have exposed its limitation on feature discriminability. This paper casts a new viewpoint on the weakness of softmax loss. On the one hand, the CNN features learned using the softmax loss are often inadequately discriminative. We hence introduce a soft-margin softmax function to explicitly encourage the discrimination between different classes. On the other hand, the learned classifier of softmax loss is weak. We propose to assemble multiple these weak classifiers to a strong one, inspired by the recognition that the diversity among weak classifiers is critical to a good ensemble. To achieve the diversity, we adopt the Hilbert-Schmidt Independence Criterion (HSIC). Considering these two aspects in one framework, we design a novel loss, named as Ensemble soft-Margin Softmax (EM-Softmax). Extensive experiments on benchmark datasets are conducted to show the superiority of our design over the baseline softmax loss and several state-of-the-art alternatives.

研究の動機と目的

• 標準的なソフトマックス損失の二重の限界、すなわち特徴の区別能の低さと深層畳み込みニューラルネットワーク（CNN）における分類器学習の弱さを解決すること。
• 特徴空間におけるクラス間分離を明示的に促進するように、マージンパラメータを導入したソフトマージンソフトマックス関数を導入することで、特徴の区別能を向上させること。
• 同じモデルアーキテクチャから得られる複数の弱学習分類器をアンサンブル化することで、分類器の強度を高めること。
• ヒルバート＝シュミット独立性基準（HSIC）を用いて、弱学習分類器間の多様性を保証することで、効果的なアンサンブル学習を実現すること。
• モデルアveraging やドロップアウトベースのアンサンブル戦略と比較して、より高い精度を実現しながら、より小さなモデルサイズと低い学習コストを達成すること。

提案手法

• 特徴空間におけるクラス間分離を強化するために、マージンパラメータを導入したソフトマージンソフトマックス関数を設計し、標準的なソフトマックスを変更する。
• 同じバックボーンネットワークから、異なるランダム重み初期化を用いて複数の弱学習分類器を学習させ、多様なベースモデルを生成する。
• 弱学習分類器出力間の統計的独立性を最大化するために、ヒルバート＝シュミット独立性基準（HSIC）を正則化項として適用し、アンサンブル内の多様性を促進する。
• 交差エントロピー損失とHSIC正則化を組み合わせた統合損失を最適化することで、フルモデルのエンドツーエンド学習を可能にする。
• アーキテクチャの変更なしに、標準的なソフトマックス学習パイプラインにアンサンブル戦略を統合し、既存のCNNフレームワークとの互換性を維持する。
• 1つのネットワークを用い、バッチごとに複数回の順伝播を実行することでアンサンブルをシミュレートし、メモリおよび推論オーバーヘッドを低減する。

実験結果

リサーチクエスチョン

• RQ1 ソフトマージンソフトマックス関数は、画像分類におけるCNN特徴の区別能を向上させることができるか？
• RQ2 同じモデルアーキテクチャから学習された複数の弱学習分類器をアンサンブル化することで、全体としての分類器の性能が向上するか？
• RQ3 HSICベースの正則化は、アンサンブル内の弱学習分類器間の多様性を効果的に促進できるか？
• RQ4 提案手法のEM-Softmax損失は、モデルアveraging やドロップアウトベースのアンサンブルと比較して、精度、モデルサイズ、学習効率の面でどのように差をつけるか？
• RQ5 提案手法は、CIFAR-10およびCIFAR-100といった標準的な画像分類ベンチマークで最先端の性能を達成できるか？

主な発見

• CIFAR-10ではEM-Softmaxがトップ-1精度93.31%を達成し、ベースラインのソフトマックス（90.95%）およびモデルアveraging（90.97%）を大きく上回り、モデルサイズも著しく小さくなった。
• CIFAR-100ではEM-Softmaxが72.74%の精度に達し、最良のベースラインであるモデルアveraging（70.01%）およびドロップアウト付きソフトマックス（68.01%）を上回った。
• EM-Softmaxの学習時間は2台のTitan X GPUで1.01時間であり、モデルアveraging（3.02–4.82時間）よりもはるかに短く、より高い精度を達成した。
• EM-Softmaxのモデルサイズは15.2 MBであり、129.35 MBのモデルアveragingアンサンブルと比較して著しく小さく、より実装可能である。
• EM-Softmaxにドロップアウトを追加してもわずかな向上（93.49% vs. 93.31%）にとどまり、一般化性能の向上においてアンサンブル戦略がドロップアウトよりも効果的であることが示された。
• HSICベースの多様性正則化は、複数のデータセットおよびアーキテクチャにわたり一貫した性能向上を示しており、一般化性能の向上に効果的であることが裏付けられた。