[論文レビュー] A New Loss Function for CNN Classifier Based on Pre-defined Evenly-Distributed Class Centroids

Qiuyu Zhu, Pengju Zhang+1 more|arXiv (Cornell University)|Apr 12, 2019

Face recognition and analysis参考文献 21被引用数 9

ひとこと要約

本論文は、畳み込みニューラルネットワーク（CNN）分類器のための新しい損失関数であるPEDCC-Lossを提案する。この損失関数は、事前に定義された均等に分布したクラス重心の周囲に特徴埋め込みを密にクラスタリングさせることで、クラス間距離を最大化し、クラス内ばらつきを最小化する。画像分類および顔認識の実験では、安定的かつ高速に収束する状態で最先端の精度を達成した。

ABSTRACT

With the development of convolutional neural networks (CNNs) in recent years, the network structure has become more and more complex and varied, and has achieved very good results in pattern recognition, image classification, object detection and tracking. For CNNs used for image classification, in addition to the network structure, more and more research is now focusing on the improvement of the loss function, so as to enlarge the inter-class feature differences, and reduce the intra-class feature variations as soon as possible. Besides the traditional Softmax, typical loss functions include L-Softmax, AM-Softmax, ArcFace, and Center loss, etc. Based on the concept of predefined evenly-distributed class centroids (PEDCC) in CSAE network, this paper proposes a PEDCC-based loss function called PEDCC-Loss, which can make the inter-class distance maximal and intra-class distance small enough in hidden feature space. Multiple experiments on image classification and face recognition have proved that our method achieve the best recognition accuracy, and network training is stable and easy to converge. Code is available in https://github.com/ZLeopard/PEDCC-Loss

研究の動機と目的

• 特徴空間におけるクラス間分離性の向上とクラス内compactnessの強化により、CNN分類器の性能を向上させること。
• エンドツーエンドの重心学習を必要としない既存の損失関数の限界を克服し、最適な特徴分布を達成すること。
• 事前に定義された均等に分布したクラス重心を基準点として用いることで、安定的かつ収束性の高い学習手法を開発すること。
• 提案された損失関数が一般画像分類および特化型顔認識タスクの両方で有効であることを検証すること。

提案手法

• 学習データとは独立して、特徴空間に事前に指定された均等に分布したクラス重心を定義する。
• 特徴埋め込みとそれに対応する事前定義された重心との間のL2距離を最小化する新しい損失関数、PEDCC-Lossを定式化する。
• 標準的な交差エントロピー損失と組み合わせることで、分類精度と特徴クラスタリングの両方を共同最適化する。
• 球面コードまたは一様分布に基づく固定された重心初期化戦略を採用し、埋め込み空間における均等なクラスカバレッジを保証する。
• バックプロパゲーション中に組み合わせ損失を最適化することで、特徴が割り当てられた重心に向かって収束するよう促進する。
• 最小限のアーキテクチャ変更で、一般画像分類および顔認識ベンチマークにこの手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された均等に分布したクラス重心は、CNNにおける特徴クラスタリングと分類精度の向上に寄与するか？
• RQ2 PEDCC-Lossは、既存のマージンベースおよびセンター損失関数と比較して、収束速度と安定性において優れているか？
• RQ3 学習可能な重心の代わりに固定された重心を使用することで、画像分類および顔認識における一般化性能が向上するか？
• RQ4 提案された損失関数は、クラス内ばらつきをどの程度低減し、クラス間マージンをどの程度拡大できるか？

主な発見

• PEDCC-Lossは、複数の画像分類ベンチマークで、Softmax、AM-Softmax、ArcFace、Center lossを上回る最先端の認識精度を達成した。
• 既存の損失関数と比較して、より高速な収束性と高い学習安定性を示した。
• 事前に定義された均等に分布した重心の使用により、すべてのクラスにおいてより均一で判別性の高い特徴表現が得られた。
• 顔認識データセットにおいても、PEDCC-Lossはベースライン手法を上回る高い精度を達成し、微細分類タスクにおける有効性を確認した。