[論文レビュー] Joint Action Unit localisation and intensity estimation through heatmap regression

Enrique Sánchez, Georgios Tzimiropoulos+1 more|arXiv (Cornell University)|May 9, 2018

Face recognition and analysis被引用数 31

ひとこと要約

本稿では、1つのアワークラスネットワークを用いたヒートマップ回帰により、顔のアクションユニット（AU）の局所化と強度推定を統合的に実現する手法を提案する。各AUごとのヒートマップを強度および位置に依存する2次元ガウス関数で回帰することで、BP4Dデータセット上で平均ICC 0.68の最先端性能を達成し、ランドマークのずれに対して頑健であり、より深いモデルやAU別モデルと比較して優れた効率性を示した。

ABSTRACT

This paper proposes a supervised learning approach to jointly perform facial Action Unit (AU) localisation and intensity estimation. Contrary to previous works that try to learn an unsupervised representation of the Action Unit regions, we propose to directly and jointly estimate all AU intensities through heatmap regression, along with the location in the face where they cause visible changes. Our approach aims to learn a pixel-wise regression function returning a score per AU, which indicates an AU intensity at a given spatial location. Heatmap regression then generates an image, or channel, per AU, in which each pixel indicates the corresponding AU intensity. To generate the ground-truth heatmaps for a target AU, the facial landmarks are first estimated, and a 2D Gaussian is drawn around the points where the AU is known to cause changes. The amplitude and size of the Gaussian is determined by the intensity of the AU. We show that using a single Hourglass network suffices to attain new state of the art results, demonstrating the effectiveness of such a simple approach. The use of heatmap regression allows learning of a shared representation between AUs without the need to rely on latent representations, as these are implicitly learned from the data. We validate the proposed approach on the BP4D dataset, showing a modest improvement on recent, complex, techniques, as well as robustness against misalignment errors. Code for testing and models will be available to download from https://github.com/ESanchezLozano/Action-Units-Heatmaps.

研究の動機と目的

• 顔のアクションユニット（AU）強度推定における、複雑でアライメントに敏感なディープラーニングモデルの限界を解消すること。
• 教師なしまたは潜在表現に依存せずに、AUの局所化と強度推定を同時に実行すること。
• AU認識における顔ランドマークの誤検出に対する一般化性と頑健性を向上させること。
• マルチネットワークやより深いアーキテクチャと比較して、モデルの複雑さを低減しながら性能を維持または向上させること。
• ヒートマップ回帰による共有でエンドツーエンド学習された表現が、タスク固有またはAU別モデルを上回る可能性があるかを検討すること。

提案手法

• 本手法は、各ピクセルの値が特定のAUの空間的位置における強度を示す、AUごとのスコアマップを予測するヒートマップ回帰を用いる。
• 真値ヒートマップは、AU固有の顔ランドマーク位置に2次元ガウス関数を配置することで生成され、その振幅と広がりはAU強度ラベルに従って調整される。
• 1つのアワークラスネットワークを用いて、すべてのAUのヒートマップを同時に回帰し、AU間で共有される表現を学習する。
• ネットワークは、予測されたヒートマップと真値ヒートマップのL2損失を用いて、BP4Dデータセット上でエンドツーエンドに訓練される。
• 顔ランドマークが事前に推定され、その結果を用いて入力画像を標準的な顔の形状にアライメントした後、ネットワークに供給される。
• ランドマークのノイズを加えてモデルをテストし、誤検出に対する頑健性を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの軽量なディープネットワークが、ヒートマップ回帰を用いてAUの局所化と強度を同時に回帰することで、複雑なマルチブランチやより深いアーキテクチャを上回ることができるか？
• RQ2 強度に応じて変調されたガウス関数を用いたヒートマップ回帰は、標準的なAU強度推定手法と比較して性能と頑健性を向上させるか？
• RQ3 顔ランドマークの誤検出というAU認識の一般的な失敗要因に対して、モデルはどの程度頑健であるか？
• RQ4 統合的なヒートマップ回帰により学習された共有表現は、AU別に訓練された個別のモデルを上回るか？
• RQ5 真値ヒートマップ生成法の選択（例：ガウスベース）が、AU推定タスクの最終的性能にどのように影響するか？

主な発見

• 提案手法は、BP4Dデータセット上で平均ICC 0.68を達成し、ResNet-18（ICC 0.64）や2DC（ICC 0.66）といった最先端手法を上回った。
• 別々のAUごとにアワークラスネットワークを訓練する手法と比較して、性能は3%向上した一方で、計算コストは5倍も低減された。
• ランドマークノイズが標準偏差13ピクセルまでであれば、安定した性能を維持したが、それ以上になると著しく劣化した。
• 顔ランドマークのずれが顕著（最大55ピクセル）であっても、図5のヒートマップ活性化の結果から、AU局所化において耐性を示した。
• ヒートマップ回帰を用いた単純な1ネットワークアーキテクチャが、より複雑なモデルを上回るAU強度推定性能を達成できることを示した。
• ヒートマップ生成に可変サイズのガウス関数を用いることで、強度情報を効果的に符号化でき、ネットワークが空間的かつ強度に依存する表現を学習できるようになった。