[論文レビュー] Domain Balancing: Face Recognition on Long-Tailed Domains

Dong Cao, Xiangyu Zhu+3 more|arXiv (Cornell University)|Mar 30, 2020

Face recognition and analysis参考文献 40被引用数 9

ひとこと要約

本論文は、顔認識における長尾型ドメイン分布の問題に対処するための新規フレームワークであるドメインバランス（DB）を提案する。少数のドメイン（ヘッドドメイン）が支配的である一方で、多くのレアドメイン（テイルドメイン）が不足している状況を想定している。本手法はドメイン頻度インジケータ（DFI）を用いてドメイン頻度を特定し、リカバランスマッピング（RBM）ブロックでネットワーク特徴を動的に調整し、損失関数にドメインバランスマージン（DBM）を導入することでテイルドメインのサンプルを重み付けして強化することで、LFW、MegaFace、その他のベンチマークで最先端の性能を達成した。

ABSTRACT

Long-tailed problem has been an important topic in face recognition task. However, existing methods only concentrate on the long-tailed distribution of classes. Differently, we devote to the long-tailed domain distribution problem, which refers to the fact that a small number of domains frequently appear while other domains far less existing. The key challenge of the problem is that domain labels are too complicated (related to race, age, pose, illumination, etc.) and inaccessible in real applications. In this paper, we propose a novel Domain Balancing (DB) mechanism to handle this problem. Specifically, we first propose a Domain Frequency Indicator (DFI) to judge whether a sample is from head domains or tail domains. Secondly, we formulate a light-weighted Residual Balancing Mapping (RBM) block to balance the domain distribution by adjusting the network according to DFI. Finally, we propose a Domain Balancing Margin (DBM) in the loss function to further optimize the feature space of the tail domains to improve generalization. Extensive analysis and experiments on several face recognition benchmarks demonstrate that the proposed method effectively enhances the generalization capacities and achieves superior performance.

研究の動機と目的

• 実世界の顔認識におけるドメインの長尾型分布に対処すること。具体的には、一部のドメイン（例：白人男性）が支配的であり、多くのレアドメイン（例：子供、アフリカ系女性）が不足している状況を想定する。
• 実用応用においてドメインラベルが入手不可能であるという課題に対処すること。これは、ドメイン頻度推定のための直接的な教師信号を提供できないことを意味する。
• 明示的なドメインアノテーションを必要とせず、ヘッドドメインとテイルドメインの両方における表現学習のバランスを取ることで、モデルの汎化性能を向上させること。
• ドメイン頻度に基づく特徴の動的調整と損失関数の再重み付けにより、希少ドメインにおける性能を向上させること。

提案手法

• 特徴空間におけるクラス間の密着度を用いてドメイン頻度を推定するドメイン頻度インジケータ（DFI）を提案。密なクラスタはヘッドドメインを示し、疎な領域はテイルドメインを示す。
• ドメイン強化ブランチとソフトゲートを備えた軽量なリカバランスマッピング（RBM）ブロックを導入。DFIに基づいて特徴表現を動的に調整する。
• 損失関数にドメインバランスマージン（DBM）を設計。テイルドメインのサンプルに対してマージンを動的に増加させ、識別的学習を強化する。
• t-SNE可視化により、ヘッドドメインが密なクラスタを形成するのに対し、テイルドメインは疎であることを確認。これにより、DFIがドメイン頻度を識別する能力を裏付けた。
• DFIにおける局所的密着度の計算にK近傍法を採用。アブレーション実験により、K=100で最適な性能が得られた。
• MS-Celeb-1MおよびCASIA-WebfaceでResNet50を学習し、ArcFaceなどのマージンベース損失関数にDBを適用することで、汎化性能の向上を図った。

実験結果

リサーチクエスチョン

• RQ1 実世界の設定においてドメインラベルが入手不可能な状況下で、サンプルがヘッドドメインかテイルドメインに属するかをどのように特定できるか？
• RQ2 特徴空間におけるクラス間の密着度は、長尾型ドメイン分布におけるドメイン頻度の信頼できる代理指標として機能するか？
• RQ3 明示的なドメインアノテーションがなければ、頻度が異なるドメイン間で特徴学習を動的にバランスさせる方法は何か？
• RQ4 損失関数にドメインに依存するマージンを導入することで、希少ドメインにおける認識性能が向上するか？

主な発見

• 提案されたDB手法は、LFWで99.78%の精度を達成し、ArcFace（99.68%）を上回り、新たな最先端性能を樹立した。
• LFW BLUFRプロトコル（困難な設定）においては、98.91%のVR@FAR=0.001%を達成し、ArcFace（98.77%）を上回った。
• MegaFaceでは、ランク1識別精度が96.35%に達し、ArcFace（95.53%）と比較して0.82%の向上を示した。
• CALFW、CPLFW、AgeDBでは、それぞれ96.08%、92.63%、97.90%の精度を達成。平均でArcFaceより0.4%高い性能を示した。
• アブレーションスタディの結果、DFIにおけるK=100が最適な性能を示し、RBM + DBMの組み合わせが最も顕著な向上をもたらした。
• 可視化結果から、ヘッドドメインが密なクラスタを形成する一方でテイルドメインは疎であることが確認され、DFIがドメイン頻度を的確に特定できることを裏付けた。