[論文レビュー] Exploring Disentangled Feature Representation Beyond Face Identification

Yu Liu, Fangyin Wei+4 more|arXiv (Cornell University)|Apr 10, 2018

Face recognition and analysis参考文献 15被引用数 17

ひとこと要約

本稿では、識別子固有の特徴を蒸留し、識別子情報を排除する2本のストリームを敵対的に訓練する、最小限の監視で動作する D²AE（Identity Distilling and Dispelling Autoencoder）を提案する。このアプローチにより、識別子とは独立した属性やばらつきを捉える補完的特徴を学習できる。本手法は LFW で99.80%の最先端性能を達成し、識別子や属性タスクにわたる強い汎化性を示す無教師的顔面編集を可能にする。

ABSTRACT

This paper proposes learning disentangled but complementary face features with minimal supervision by face identification. Specifically, we construct an identity Distilling and Dispelling Autoencoder (D2AE) framework that adversarially learns the identity-distilled features for identity verification and the identity-dispelled features to fool the verification system. Thanks to the design of two-stream cues, the learned disentangled features represent not only the identity or attribute but the complete input image. Comprehensive evaluations further demonstrate that the proposed features not only maintain state-of-the-art identity verification performance on LFW, but also acquire competitive discriminative power for face attribute recognition on CelebA and LFWA. Moreover, the proposed system is ready to semantically control the face generation/editing based on various identities and attributes in an unsupervised manner.

研究の動機と目的

• 識別子ラベルのみを用いて、最小限の監視で分離可能で補完的な顔特徴を学習すること。
• 識別子を蒸留する特徴と識別子を排除する特徴を同時に学習することで、特徴表現の汎化性と完全性を向上させること。
• 微調整なしに顔属性認識や無教師的顔面編集といった下流タスクへのゼロショット転送を可能にすること。
• 識別子検証の高い性能を維持しながら、個人内変動や属性レベルのばらつきを捉える統合的でエンドツーエンドのフレームワークを提供すること。
• 敵対的監視と可視化を通じて、特徴の解釈可能性と分離性の質を検討すること。

提案手法

• D²AEフレームワークは二本のストリームを持つオートエンコーダアーキテクチャを採用する。一方のストリームは識別子分類損失により識別子固有の特徴を学習し、他方のストリームは敵対的訓練により識別子分類器を欺くように、識別子情報を排除する特徴を学習する。
• 識別子を排除するストリームは、識別子予測に情報を与えないようにするための敵対的損失（L_I^adv）を用いて訓練される。
• 再構成損失（L_H）により、エンコードされた潜在空間が入力画像の完全な情報を保持することを保証し、完全性を維持する。
• 属性や他のタスクの追加アノテーションを必要とせず、識別子の監視のみでエンドツーエンドに訓練される。
• 分離可能な特徴は、識別子を蒸留するストリームと識別子を排除するストリームを組み合わせることで形成され、識別子固有と属性固有の両方の表現が可能になる。
• 再トレーニングや制御ユニットを必要とせず、分離可能なコンポonentを操作することで、セマンティック顔面編集が可能になる。

実験結果

リサーチクエスチョン

• RQ1 属性やその他の要因の明示的アノテーションがなく、識別子の監視のみで分離可能な顔特徴を学習できるか？
• RQ2 識別子を排除する特徴の敵対的訓練が、学習された表現の完全性と汎化性を向上させるか？
• RQ3 分離可能な特徴が、ゼロショット属性認識を可能にしつつ、識別子検証で最先端の性能を維持できるか、その程度はいかほどか？
• RQ4 分離可能な特徴が、識別子を保持する属性変更といった無教師的セマンティック顔面編集を可能にするか？
• RQ5 識別子を蒸留するコンポーネントと識別子を排除するコンポーネントは、検証や属性分類といったさまざまな下流タスクにおいて、どのように異なる貢献をするか？

主な発見

• D²AEモデルは LFW 顔認識ベンチマークで99.80%の精度を達成し、単一モデルで多数の最先端手法を上回る。
• CelebA および LFWA の属性認識ベンチマークでは、LFWA で平均83.1%、CelebA で83.1%の競争力ある性能を示し、優れた分離性を示している。
• アブレーションスタディにより、識別子敵対的損失（L_I^adv）または再構成損失（L_H）を削除すると性能が著しく低下することが確認され、両者の重要性が裏付けられた。
• 識別子に依存しない属性（例：「笑顔」や「口紅を塗っている」）に関しては、識別子を排除する特徴（D²AE-𝒫）が識別子を蒸留する特徴（D²AE-𝒯）を上回る性能を示した。逆に、識別子に関連する属性（例：「男性」や「黒髪」）に関しては、逆の傾向が見られた。
• 本モデルは効果的なセマンティック顔面編集を可能にする。分離可能なコンポーネントを操作することで、制御モジュールの再トレーニングなしに、識別子を保持する属性転送や補間が実現できる。
• t-SNE可視化により、分離可能な特徴が属性ごとに明確に分離されていることが示され、解釈可能性と分離性の質が確認された。