[論文レビュー] Virtual Class Enhanced Discriminative Embedding Learning

Binghui Chen, Weihong Deng+1 more|arXiv (Cornell University)|Nov 30, 2018

Face recognition and analysis被引用数 28

ひとこと要約

本論文では、柔軟な仮想負例クラスをソフトマックス損失に組み込むことで、分類境界の角度マージンを拡大し、クラス内コンパクト性を高めることで、判別性の高い特徴抽出を促進する、シンプルでありながら効果的な手法であるVirtual Softmaxを提案する。この手法は、人為的なハイパーパrameterや複雑なアーキテクチャを必要とせず、複数のオブジェクト分類および顔認識ベンチマークで最先端または競争力のある性能を達成している。

ABSTRACT

Recently, learning discriminative features to improve the recognition performances gradually becomes the primary goal of deep learning, and numerous remarkable works have emerged. In this paper, we propose a novel yet extremely simple method extbf{Virtual Softmax} to enhance the discriminative property of learned features by injecting a dynamic virtual negative class into the original softmax. Injecting virtual class aims to enlarge inter-class margin and compress intra-class distribution by strengthening the decision boundary constraint. Although it seems weird to optimize with this additional virtual class, we show that our method derives from an intuitive and clear motivation, and it indeed encourages the features to be more compact and separable. This paper empirically and experimentally demonstrates the superiority of Virtual Softmax, improving the performances on a variety of object classification and face verification tasks.

研究の動機と目的

• 深層学習における標準的なソフトマックスが、分離可能ではあるが判別性に欠ける特徴を生成するという限界に対処すること。
• 手動によるスケーリングが必要なL-Softmax や A-Softmax などのマージンベース手法の代替として、自動的かつハイパーパrameterフリーな代替手法を開発すること。
• 仮想負例クラスを用いてより強い意思決定境界制約を課すことにより、特徴のコンパクト性とクラス間分離性を向上させること。
• 細分化分類や顔認識を含む多様な認識タスクにおいて、本手法の有効性を実証すること。
• 計算コストを増加させることなく表現力の向上を図る、シンプルで即時適用可能な標準ソフトマックスの代替手法を提供すること。

提案手法

• 仮想ソフトマックスは、標準ソフトマックスを一般化し、最終分類に参加しないが、学習中に特徴学習に影響を与える動的仮想クラスを導入する。
• 仮想クラスを用いて、真のクラスと仮想クラス間の角度マージンにゼロ極限制約を課すことにより、クラス間の角度マージンを拡大する。
• 交差エントロピー損失に仮想クラスを組み込むことで、モデルアーキテクチャを変更せずに意思決定境界の制約を強化する。
• 現在の特徴分布に基づいて、訓練中に仮想クラスを動的に更新することで、調整不要の適応性を確保する。
• 仮想クラスが角度特徴空間において境界正則化子として機能し、特徴のコンパクト性と分離性を向上させるという数学的根拠に基づく。
• 任意の深層ネットワークと互換性があり、損失関数の置き換えとして、既存の学習パイプラインに簡単に統合可能である。

実験結果

リサーチクエスチョン

• RQ1 ソフトマックス損失に動的仮想負例クラスを挿入することで、学習された特徴の判別性が著しく向上するか？
• RQ2 Virtual Softmaxは、標準ソフトマックスおよびL-Softmax や A-Softmax などのマージンベース手法に比べ、特徴のコンパクト性と分離性において優れているか？
• RQ3 本手法は、タスク固有のハイパーパrameterチューニングを必要とせず、多様な認識タスクで最先端の性能を達成できるか？
• RQ4 仮想クラスの挿入は、埋め込み空間における特徴の角度分布にどのように影響を与えるか？
• RQ5 大規模な顔認識（67,000人分のアイデンティティを含む）のような高クラス数の状況でも、Virtual Softmaxは有効か？

主な発見

• CIFAR-10では、Virtual Softmaxがテスト誤差率6.68%を達成し、ベースラインのソフトマックス（7.15%）およびLS*（6.77%）、AS*（6.83%）を上回った。
• CIFAR-100では、誤差率が24.01%に低下し、ベースラインのソフトマックス（25.52%）およびLS*（24.32%）、AS*（24.11%）をすべて上回った。
• CUB200の細分化分類では、V2モデルで81.1%の精度を達成し、ベースラインのソフトマックス（77.2%）およびLS*（80.5%）、AS*（80.2%）を上回った。
• LFWでは、認証精度が99.46%に向上し、ベースラインのソフトマックス（99.10%）およびNS*（99.16%）、LS*（99.37%）を上回った。
• SLLFWでは、95.85%の精度を達成し、ベースラインのソフトマックス（94.59%）およびすべての比較手法（AS*がNormFaceと組み合わせた場合96.45%）を大きく上回った。
• ImageNet32では、トップ1精度48.84%、トップ5精度74.06%を達成し、すべてのベースラインおよび先行手法を上回った。