[論文レビュー] Deep Imbalanced Learning for Face Recognition and Attribute Prediction

Chen Huang, Yining Li+2 more|arXiv (Cornell University)|Jun 1, 2018

Face recognition and analysis参考文献 72被引用数 30

ひとこと要約

本稿では、顔認識および属性予測におけるクラス不均衡問題を軽減するために、超球面上のクラスタ間の角距離を強制する深層学習手法であるクラスタベースの大マージン局所埋め込み（CLMLE）を提案する。クラス内およびクラス間のクラスタ間マージンを維持することで、よりバランスの取れた局所的決定境界を実現し、不均衡データを含むベンチマークデータセットにおいて最先端の精度を達成した。

ABSTRACT

Data for face analysis often exhibit highly-skewed class distribution, i.e., most data belong to a few majority classes, while the minority classes only contain a scarce amount of instances. To mitigate this issue, contemporary deep learning methods typically follow classic strategies such as class re-sampling or cost-sensitive training. In this paper, we conduct extensive and systematic experiments to validate the effectiveness of these classic schemes for representation learning on class-imbalanced data. We further demonstrate that more discriminative deep representation can be learned by enforcing a deep network to maintain inter-cluster margins both within and between classes. This tight constraint effectively reduces the class imbalance inherent in the local data neighborhood, thus carving much more balanced class boundaries locally. We show that it is easy to deploy angular margins between the cluster distributions on a hypersphere manifold. Such learned Cluster-based Large Margin Local Embedding (CLMLE), when combined with a simple k-nearest cluster algorithm, shows significant improvements in accuracy over existing methods on both face recognition and face attribute prediction tasks that exhibit imbalanced class distribution.

研究の動機と目的

• 顔認識および属性予測のための深層表現学習におけるクラス不均衡問題に対処すること。
• 古典的なリサンプリングおよびコストセンシティブ学習戦略が、深層不均衡学習に対して十分であるかどうかを調査すること。
• クラスタ間マージンを強制する識別的クラスタリングを実現し、局所的決定境界のバランスを向上させること。
• 実世界の不均衡顔データセットおよびシミュレートされたベンチマークにおいて、CLMLEの有効性を示すこと。
• CLMLEを用いたシンプルなk近傍法分類が、複雑なベースラインを上回ることを示すこと。

提案手法

• CLMLEは、超球多様体上でのクラスタ間の角距離を強制することで、深層表現を学習し、クラス間およびクラス内分離を向上させる。
• 本手法は、訓練中に損失が高くなるクラスタを優先するクラスタベースのサンプリング戦略を用いる。
• コストセンシティブなスキームにより、特に多値属性設定において、クラスの寄与度をスコアレベルで再平衡化する。
• 特徴埋め込みは、クラスタ中心間の角距離を制約するマージンベースの損失関数を用いて最適化される。
• 最終的な分類器は、インスタンス単位のk-NNではなく、k-近傍クラスタ（k-NC）を用いることで、速度と性能が向上する。
• 本手法は標準的なバックプロパゲーションを用いてエンドツーエンドで訓練され、マージン学習と標準的な交差エントロピー損失が統合される。

実験結果

リサーチクエスチョン

• RQ1 古典的なリサンプリングおよびコストセンシティブ学習戦略は、顔分析における深層不均衡学習に対して効果的か？
• RQ2 超球面上でクラスタ間マージンを強制することは、不均衡データにおけるより良い局所的決定境界をもたらすか？
• RQ3 CLMLEは、実世界の不均衡顔認識および属性予測ベンチマークにおいて、最先端の手法と比較してどうか？
• RQ4 CLMLEの性能に与えるクラスタレベルのサンプリングとコストセンシティブ重み付けの寄与度は何か？
• RQ5 CLMLEは、顔分析を越えて、一般的な不均衡画像分類タスクにも一般化可能か？

主な発見

• LFW顔認証ベンチマークにおいて、CLMLEは99.62%の精度を達成し、以前の最先端手法を上回った。
• CelebA属性予測データセットにおいて、CLMLEは平均バランス精度88.78%を達成し、先行手法を上回った。
• アブレーションスタディの結果、非一様なクラスタサンプリングとコストセンシティブ学習が、特に多値設定において顕著に性能向上をもたらした。
• 高い不均衡度（γ=0.5）を有するCIFAR-100において、CLMLEは平均クラスバランス精度39.7%を達成し、CE+CRL（37.4%）およびLMLE（38.1%）を上回った。
• k-NCをインスタンス単位のk-NNに置き換えると、属性予測精度は88.59%に低下し、クラスタレベル分類の利点が確認された。
• オープンセットプロトコル下でもCLMLEは強力な性能を維持しており、識別的特徴学習のおかげで未学習クラスに対しても頑健であることが示された。