[論文レビュー] Disentanglement for Discriminative Visual Recognition

Xiaofeng Liu|arXiv (Cornell University)|Jun 14, 2020

Face and Expression Recognition参考文献 88被引用数 4

ひとこと要約

本論文は、ポーズ、照明、表情などのタスクに不要な変化から、アイデンティティに不変な特徴を明示的に分離する、判別的視覚認識のための分離化フレームワークを提案する。深部度量学習と敵対的訓練を統合した二本のブランチを持つネットワークを採用し、顔の表情認識、不審者による隠れ身元の顔認識、属性予測の各タスクで最先端の性能を達成した。これは、意味的および潜在的変化に対して不変性を強制することによって実現された。

ABSTRACT

Recent successes of deep learning-based recognition rely on maintaining the content related to the main-task label. However, how to explicitly dispel the noisy signals for better generalization in a controllable manner remains an open issue. For instance, various factors such as identity-specific attributes, pose, illumination and expression affect the appearance of face images. Disentangling the identity-specific factors is potentially beneficial for facial expression recognition (FER). This chapter systematically summarize the detrimental factors as task-relevant/irrelevant semantic variations and unspecified latent variation. In this chapter, these problems are casted as either a deep metric learning problem or an adversarial minimax game in the latent space. For the former choice, a generalized adaptive (N+M)-tuplet clusters loss function together with the identity-aware hard-negative mining and online positive mining scheme can be used for identity-invariant FER. The better FER performance can be achieved by combining the deep metric loss and softmax loss in a unified two fully connected layer branches framework via joint optimization. For the latter solution, it is possible to equipping an end-to-end conditional adversarial network with the ability to decompose an input sample into three complementary parts. The discriminative representation inherits the desired invariance property guided by prior knowledge of the task, which is marginal independent to the task-relevant/irrelevant semantic and latent variations. The framework achieves top performance on a serial of tasks, including lighting, makeup, disguise-tolerant face recognition and facial attributes recognition. This chapter systematically summarize the popular and practical solution for disentanglement to achieve more discriminative visual recognition.

研究の動機と目的

• 視覚認識における一般化性能を低下させるノイズ混じりのタスクに不要な変化（例：照明、ポーズ、表情）に対処すること。
• 深層表現におけるアイデンティティ固有の属性と判別的特徴を分離可能な方法を構築すること。
• 意味的および潜在的変化に対して不変性を強制することで、顔の表情認識（FER）および関連タスクの性能を向上させること。
• メトリック学習と敵対的訓練を統合し、分離化された表現のエンドツーエンド最適化を実現すること。

提案手法

• 一般化された適応的（N+M）-タプルクラスターロス関数を用いて、分離化を深部度量学習問題として定式化する。
• メトリック空間における特徴の識別能を向上させるために、アイデンティティに配慮したハードネガティブマイニングおよびオンラインポジティブマイニングを導入する。
• スムージングロスとメトリックロスを同時に最適化するため、二本のブランチ構造の全結合ネットワークアーキテクチャを採用し、表現学習を向上させる。
• 条件付き敵対的ネットワークを用いて、入力画像を三つの補完的コンポーネントに分解する：分離化された判別的特徴、タスクに関連する変化、不要な変化。
• 敵対的訓練を通じて、判別的表現とタスクに不要な意味的・潜在的変化の間の周辺的独立性を課す。
• タスクの事前知識を活用して分離化プロセスをガイドし、アイデンティティ以外の要因に対して不変性を確保する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして分離化を効果的に適用し、判別的視覚認識タスクにおける一般化性能を向上させることができるか？
• RQ2 照明や表情といった明示的なタスクに不要な変化を除去することで、顔の表情認識性能にどのような影響を与えるか？
• RQ3 メトリック学習と敵対的訓練を統合したフレームワークは、単独で用いる場合よりも優れた分離化を達成できるか？
• RQ4 判別的特徴と不要な変化の間の周辺的独立性を強制することで、仮面や環境変化に対してどの程度の耐性が得られるか？
• RQ5 分離化された表現は、顔認識や属性予測といった多様な視覚認識タスクにどの程度一般化可能か？

主な発見

• 提案手法は、照明や表情の変化が著しい状況下でも、顔の表情認識タスクで最先端の性能を達成した。
• 二本のブランチネットワークにおけるメトリックロスとスムージングロスの組み合わせにより、特徴の識別能と認識精度が顕著に向上した。
• 敵対的分離化フレームワークは、アイデンティティに不変な特徴を効果的に分離し、仮面を装着した状態でも顔認識で最良の性能を達成した。
• 敵対的訓練による不変性の強制により、ポーズや表情といった未指定の潜在的変化に対してもモデルは頑健であることが示された。
• フレームワークは顔属性認識や照明に強い顔認識といった複数のタスクにうまく一般化し、ベースライン手法を上回った。