[論文レビュー] Multi-Task Convolutional Neural Network for Face Recognition.

Xi Yin, Xiaoming Liu|arXiv (Cornell University)|Feb 15, 2017

Face recognition and analysis参考文献 34被引用数 13

ひとこと要約

本論文では、顔認識のためのマルチタスク畳み込みニューラルネットワーク（CNN）を提案し、補助タスクとしてポーズ、照明、表情推定を統合的に学習する。動的損失重み付けとポーズ指向特徴学習を用いることで、一般化性能が向上し、LFW、CFP、IJB-Aで最先端の性能を達成した。また、本研究は、トレーニングにマルチ・パイ（Multi-PIE）データセットの全データを初めて使用した。

ABSTRACT

This paper explores multi-task learning (MTL) for face recognition. We answer the questions of how and why MTL can improve the face recognition performance. First, we propose a multi-task Convolutional Neural Network (CNN) for face recognition where identity recognition is the main task and pose, illumination, and expression estimations are the side tasks. Second, we develop a dynamic-weighting scheme to automatically assign the loss weight to each side task. Third, we propose a pose-directed multi-task CNN by grouping different poses to learn pose-specific identity features, simultaneously across all poses. We observe that the side tasks serve as regularizations to disentangle the variations from the learnt identity features. Extensive experiments on the entire Multi-PIE dataset demonstrate the effectiveness of the proposed approach. To the best of our knowledge, this is the first work using all data in Multi-PIE for face recognition. Our approach is also applicable to in-the-wild datasets for pose-invariant face recognition and we achieve comparable or better performance than state of the art on LFW, CFP, and IJB-A.

研究の動機と目的

• マルチタスク学習が補助タスクを活用することで顔認識性能をどのように向上させられるかを調査すること。
• 顔認識におけるドメインシフトおよびポーズ、照明、表情の変動という課題に取り組むこと。
• トレーニングの進行に応じて各補助タスクの損失寄与度を自動的に調整する動的損失重み付け方式を開発すること。
• すべてのポーズにわたるポーズ固有の顔認識特徴を学習するポーズ指向アーキテクチャを設計すること。
• 制御された環境（マルチ・パイ）とリアルワールド（LFW、CFP、IJB-A）の両方のデータセットにおいて、本手法の有効性を示すこと。

提案手法

• 顔認識を主タスクとし、ポーズ、照明、表情推定を補助タスクとするマルチタスクCNNを設計した。
• トレーニングの進行に応じて各補助タスクの損失寄与度を自動的に調整する重み付け方式を導入した。
• ポーズ指向マルチタスクCNNは、異なるポーズをグループ化して、ポーズ固有の顔認識表現を学習し、ポーズ変動に対する耐性を高めた。
• 補助タスクは、ポーズ、照明、表情の変動から顔認識に関連する特徴を分離する正則化子として機能する。
• 全マルチ・パイ（Multi-PIE）データセットを用いてエンドツーエンドでモデルを学習し、利用可能なデータを最大限に活用した。
• LFW、CFP、IJB-Aベンチマークでのファインチューニングにより、本フレームワークをリアルワールドデータセットへも適用可能とした。

実験結果

リサーチクエスチョン

• RQ1 補助タスクを活用することで、マルチタスク学習が顔認識性能をどのように向上させられるか？
• RQ2 顔認識のマルチタスク学習設定において、複数の損失関数を最適にバランスさせる方法は何か？
• RQ3 ポーズ固有の特徴学習は、さまざまなポーズにおいて顔認識表現の耐性を高められるか？
• RQ4 ポーズや照明推定といった補助タスクは、顔認識特徴の分離にどの程度正則化子として機能するか？
• RQ5 提案手法はリアルワールドデータセットへ一般化可能であり、最先端の性能を達成できるか？

主な発見

• 提案されたマルチタスクCNNは、LFW、CFP、IJB-Aベンチマークで最先端の性能を達成し、既存手法を上回るか同等の性能を示した。
• マルチ・パイ（Multi-PIE）データセットの全データをトレーニングに使用したことで、従来の手法と比較して一般化性能と耐性が向上した。
• 動的損失重み付け方式は、補助タスクの寄与度を効果的にバランスさせ、トレーニングの安定性と性能を向上させた。
• ポーズ指向特徴学習により、多様なポーズにおいて顔認識不変の表現を学習できるようになった。
• ポーズや照明推定といった補助タスクは、過学習を低減させ、特徴の分離を促進する有効な正則化子として機能した。
• モデルはリアルワールド環境への高い転送性を示し、制御された環境を超えた実用的応用の有効性を確認した。