[論文レビュー] Multi-modal Face Pose Estimation with Multi-task Manifold Deep Learning

Chaoqun Hong, Jun Yu|arXiv (Cornell University)|Dec 18, 2017

Face recognition and analysis参考文献 46被引用数 46

ひとこと要約

本稿では、多様な顔姿勢推定のための新しい深層学習フレームワークであるマルチタスク多様体ディープラーニング（$M^{2}DL$）を提案する。この手法は、特徴表現の向上を図るための多様体正則化畳み込み層と、複数のモダリティ（例：RGBと深度）からのデータを同時に処理するマルチタスク学習を統合し、顔姿勢へのマッピングを共同最適化する。提案手法はDPOSE、HPID、BKHPDのベンチマークで最先端の性能を達成し、複雑で制約のない環境下でも優れた精度と耐障害性を示している。

ABSTRACT

Human face pose estimation aims at estimating the gazing direction or head postures with 2D images. It gives some very important information such as communicative gestures, saliency detection and so on, which attracts plenty of attention recently. However, it is challenging because of complex background, various orientations and face appearance visibility. Therefore, a descriptive representation of face images and mapping it to poses are critical. In this paper, we make use of multi-modal data and propose a novel face pose estimation method that uses a novel deep learning framework named Multi-task Manifold Deep Learning $M^2DL$. It is based on feature extraction with improved deep neural networks and multi-modal mapping relationship with multi-task learning. In the proposed deep learning based framework, Manifold Regularized Convolutional Layers (MRCL) improve traditional convolutional layers by learning the relationship among outputs of neurons. Besides, in the proposed mapping relationship learning method, different modals of face representations are naturally combined to learn the mapping function from face images to poses. In this way, the computed mapping model with multiple tasks is improved. Experimental results on three challenging benchmark datasets DPOSE, HPID and BKHPD demonstrate the outstanding performance of $M^2DL$.

研究の動機と目的

• 変動する照明、部分的遮蔽、低解像度入力といった複雑な条件下での正確な人間の顔姿勢推定の課題に対処すること。
• 深層ニューラルネットワーク内でのデータの内在的多様体構造をモデル化することで、特徴表現を向上させること。
• マルチタスク学習を用いて、複数のモダリティ（例：RGB画像、深度マップ）を共同で学習することで、ポーズマッピングの性能を向上させること。
• 構造的データ関係性とマルチモーダル入力を統合したエンドツーエンドの深層学習フレームワークを構築し、顔姿勢推定の耐障害性を高めること。

提案手法

• ニューロン出力間の幾何的関係を明示的にモデル化することで、より内在的かつ判別性の高い特徴表現を学習する、多様体正則化畳み込み層（MRCL）を提案する。
• 各タスクが異なるモダリティ（例：RGB画像、深度マップ）に対応するマルチタスク学習戦略を採用し、視覚間で共有および特化した特徴学習を可能にする。
• マルチモーダル特徴抽出のための共有された深層畳み込みバックボーンを用い、その後にポーズ予測用のタスク固有の回帰ヘッドを配置する。
• 複数のモダリティにまたがるポーズパラメータの共同回帰を最適化するため、マルチタスク学習にLeastSparseTraceを損失関数として適用する。
• 局所的なデータ多様体構造を捉えるグラフラプラシアンを組み込むことで、畳み込み層に多様体正則化を統合する。
• 全$M^{2}DL$アーキテクチャのエンドツーエンド学習を可能にし、特徴学習とポーズ回帰の共同最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 畳み込み層における多様体正則化は、ポーズ推定のための顔特徴の内在的表現を向上させることができるか？
• RQ2 RGBと深度などの複数モダリティにわたるマルチタスク学習は、単一モダリティ手法と比較して、顔姿勢推定における一般化性能と精度を向上させるか？
• RQ3 多様体学習による構造的データ関係性とマルチモーダルデータの統合は、制約のない現実世界の環境下での耐障害性を向上させるか？
• RQ4 提案された$M^{2}DL$フレームワークは、多様なベンチマークデータセットにおいて、最先端手法と比較して精度と一般化性能に優れているか？

主な発見

• $M^{2}DL$フレームワークは、DPOSE、HPID、BKHPDのベンチマークデータセットで最先端の性能を達成し、SFS、RRF、TGP、LRといった既存手法を上回っている。
• 多様体正則化畳み込み層（MRCL）は、ニューロン間の隠れた関係を捉えることで、特徴表現を著しく向上させ、より耐障害性があり判別性の高い特徴を生成している。
• 複数モダリティにわたるマルチタスク学習により、異なるデータタイプからの補完的情報を活用することで、一般化性能の向上とポーズ推定精度の向上が達成された。
• 低解像度画像、部分的遮蔽、非正面の頭部ポーズといった困難な状況下でも、提案手法は優れた耐障害性を示している。
• マルチタスク損失関数としてLeastSparseTraceを用いることで、複数のタスクにまたがるポーズパラメータの回帰がより安定的かつ正確になった。
• 実験的結果から、$M^{2}DL$は、Salient Facial Structures（SFS）、Random Regression Forests（RRF）、Twin Gaussian Processes（TGP）といったベースライン手法を、すべての3つのデータセットで一貫して上回っていることが示された。