[論文レビュー] A Novel Multi-Task Tensor Correlation Neural Network for Facial Attribute Prediction

Mingxing Duan, Kenli Li+1 more|arXiv (Cornell University)|Apr 9, 2018

Face recognition and analysis参考文献 25被引用数 9

ひとこと要約

本稿では、低レベル特徴をタスク間で共有しながら、タスク固有の高レベル表現を学習するクロスネットワーク特徴強化を用いて、顔の属性予測を向上させるマルチタスク相関ニューラルネットワーク（MTCN）を提案する。詳細なタスク固有相関をモデル化するための新規テンソル相関分析（NTCCA）を導入し、階層的特徴相関を活用することで、CelebAおよびLFWAデータセットで最先端の精度を達成した。

ABSTRACT

Face multi-attribute prediction benefits substantially from multi-task learning (MTL), which learns multiple face attributes simultaneously to achieve shared or mutually related representations of different attributes. The most widely used MTL convolutional neural network is heuristically or empirically designed by sharing all of the convolutional layers and splitting at the fully connected layers for task-specific losses. However, it is improper to view all low and mid-level features for different attributes as being the same, especially when these attributes are only loosely related. In this paper, we propose a novel multi-attribute tensor correlation neural network (MTCN) for face attribute prediction. The structure shares the information in low-level features (e.g., the first two convolutional layers) but splits that in high-level features (e.g., from the third convolutional layer to the fully connected layer). At the same time, during high-level feature extraction, each subnetwork (e.g., Age-Net, Gender-Net, ..., and Smile-Net) excavates closely related features from other networks to enhance its features. Then, we project the features of the C9 layers of the fine-tuned subnetworks into a highly correlated space by using a novel tensor correlation analysis algorithm (NTCCA). The final face attribute prediction is made based on the correlation matrix. Experimental results on benchmarks with multiple face attributes (CelebA and LFWA) show that the proposed approach has superior performance compared to state-of-the-art methods.

研究の動機と目的

• 既存のマルチタスク学習手法がすべての層で特徴を過剰に共有するという限界に対処する。これは、タスク固有の差異や微細な属性相関を捉えるのを妨げる。
• 共有された低レベル表現とタスク固有の高レベル特徴相関をモデル化することで、顔の属性予測性能を向上させる。
• 高レベル特徴を非常に相関の高い空間に投影する新しいテンソル相関分析（NTCCA）手法を開発する。これにより、属性間の相互利益が向上する。
• 特にデータが少ない状況下でも、提案されたMTCNフレームワークの有効性をベンチマークデータセットで検証する。

提案手法

• MTCNアーキテクチャは、すべての属性予測ヘッド（例：Age-Net、Gender-Net）で最初の2つの畳み込み層（低レベル特徴）を共有するが、3番目の畳み込み層以降はタスク固有の学習を可能にするために分岐する。
• 各サブネットワーク（例：Smile-Net）は、高レベル特徴学習段階で他のサブネットワークから関連する特徴を能動的に抽出・統合し、表現品質を向上させる。
• 新規の非線形テンソル相関相関分析（NTCCA）アルゴリズムは、微調整されたサブネットワークのC9層特徴を、共有され、非常に相関の高い空間に投影することで、詳細な属性間関係をモデル化する。
• 最終的な予測は、NTCCAが生成する相関行列に基づいて行われ、これにより属性間の特徴相互作用が一般化される。
• 一般化行列はデータのサブセット上で学習され、相関学習プロセスの安定化と向上が図られる。

Figure 1: The methods used for face attribute prediction.

実験結果

リサーチクエスチョン

• RQ1 すべての層でパラメータを共有するのではなく、低レベル特徴を共有し高レベル特徴を分岐させる階層的特徴共有は、完全なパラメータ共有に比べて顔の属性予測を向上させることができるか？
• RQ2 顔の属性間のタスク固有相関を、高レベル特徴レベルで効果的にモデル化する方法は何か？
• RQ3 専用のテンソル相関分析手法（NTCCA）は、標準的なマルチタスク学習や特徴統合に比べて、より優れた性能を発揮するか？
• RQ4 データが少ないLFWAのような小規模データセットにおいて、提案されたMTCNはどのように性能を発揮するか？

主な発見

• CelebAデータセットでは、MTCNが40属性の平均92.77%の精度を達成し、先行する最先端手法（MCNN+AUX：91.38%、DMTL：91.67%）を顕著に上回った。
• MTCNにNTCCAを組み込むことで、NTCCAなしのMTCNに比べて平均精度が1.39%向上した。これは、高レベル特徴相関をモデル化するNTCCAの有効性を示している。
• より小さなLFWAデータセットでも、MTCNは強力な性能を維持した。19属性が90%以上の精度を達成し、残りの19属性も80%を超えた。これは、データ不足に対しても頑健であることを示している。
• 「Bangs」や「Blurry」のように通常予測が難しい属性も顕著な性能向上を示した。これは、属性間の相関を活用できることを示している。
• モデルの性能は、属性カテゴリにかかわらず安定しており、カテゴリI（例：「Male」、「Attractive」）では90%以上の精度を達成した。一方、カテゴリII（例：「Bald」、「Mustache」）は依然として挑戦的であったが、新規フレームワークのおかげで改善が見られた。

Figure 2: Full schematic diagram of our network architecture. (C1, C3, …, C9) denote the corresponding convolutional layers, (S2, S4, S6) represent pooling and normalization operations, N8 signifies only the normalization operation, and (F10 and F11) express the fully connected layers. The structure