[論文レビュー] Rethinking Feature Discrimination and Polymerization for Large-scale Recognition

Yü Liu, Hongyang Li+1 more|arXiv (Cornell University)|Oct 2, 2017

Face and Expression Recognition参考文献 38被引用数 112

ひとこと要約

この論文は、Congenerous cosine (COCO) Lossを導入し、クラス中心点とコサイン類似度を活用して、クラス内ポリマー化とクラス間識別を同時に最適化し、大規模認識の安定したエンドツーエンド訓練を可能にします。

ABSTRACT

Feature matters. How to train a deep network to acquire discriminative features across categories and polymerized features within classes has always been at the core of many computer vision tasks, specially for large-scale recognition systems where test identities are unseen during training and the number of classes could be at million scale. In this paper, we address this problem based on the simple intuition that the cosine distance of features in high-dimensional space should be close enough within one class and far away across categories. To this end, we proposed the congenerous cosine (COCO) algorithm to simultaneously optimize the cosine similarity among data. It inherits the softmax property to make inter-class features discriminative as well as shares the idea of class centroid in metric learning. Unlike previous work where the center is a temporal, statistical variable within one mini-batch during training, the formulated centroid is responsible for clustering inner-class features to enforce them polymerized around the network truncus. COCO is bundled with discriminative training and learned end-to-end with stable convergence. Experiments on five benchmarks have been extensively conducted to verify the effectiveness of our approach on both small-scale classification task and large-scale human recognition problem.

研究の動機と目的

• 超大規模な認識において、カテゴリ間で識別的でありつつクラス内でポリマー化された特徴の必要性を動機づける。
• クラス中心点とのコサイン類似度を最適化し、両方の目標を達成する新しい損失（COCO）を提案する。
• 小規模および大規模ベンチマークで安定した収束性を持つエンドツーエンド訓練を保証する。

提案手法

• 特徴とクラス中心点とのコサイン類似度を定義する。
• 正規化され、スケールされた特徴と中心点に対するクロスエントロピーとして COCO 損失を定式化する。
• 訓練中にネットワークパラメータと共にクラス中心点を更新する（別個の Center Loss 項は用いない）。
• バックプロパゲーションを可能にする特徴と中心点の勾配を提供する。
• スケール因子 alpha をネットワークとクラス数に理論的に関連付け、最適な下限を導出する。
• Triplet Loss や Center Loss に比べて安定性と収束の利点を示す。

実験結果

リサーチクエスチョン

• RQ1 コサインベースで中心点に導かれる目的関数は、超大規模クラス数でのクラス内の厳密なクラスタリングとクラス間の大きなマージを同時に実現できるか？
• RQ2 COCO はエンドツーエンドの訓練を安定化させ、既存のメトリック学習損失（例: Triplet、Center Loss）より大規模認識タスクのスケーラビリティを改善するか？

主な発見

方法	MNIST 誤差 (%)	CIFAR-10 誤差 (%)
Softmax	0.36	6.70
Center loss + softmax	0.32	6.66
Triplet loss	1.45	12.69
Triplet loss + softmax	0.38	6.73
COCO	0.30	6.25

• COCO はデータ拡張なしで MNIST および CIFAR-10 で競争力のあるまたはそれを上回る精度を達成し、いくつかのベースラインを上回る。
• 大規模な顔認識ベンチマークで、COCO は検証と識別タスク（例: LFW と MegaFace）で最先端または競争力のある結果を示す。
• COCO はソフトマックスとトリプレット損失と比較して、コサイン距離のビジュアル化においてクラス内のポリマー化をより明確に、クラス間分離を大きく示す。
• 最適なスケール因子 alpha を決定でき、実用設定を導く下限が導出される（alpha ≈ 0.5 log(K-1) + 3）。
• この手法は安定した収束を維持し、巨大なクラス数で時に見られる Triplet Loss の訓練不安定性を回避する。