[論文レビュー] Action Units Recognition by Pairwise Deep Architecture

Junya Saito, Ryosuke Kawamura+6 more|arXiv (Cornell University)|Oct 1, 2020

Emotion and Mood Recognition参考文献 23被引用数 6

ひとこと要約

本論文は、画像ペアから被騣に依存しない疑似強度を学習し、ビデオレベルの変動特徴を用いてそれらをAUラベルにマッピングすることで、被騣間でのラベル不一致を解消するペairワイズ深層アーキテクチャを提案する。この手法は、検証セットにおいて0.67のコンペティションメトリックスコアを達成し、0.31のベースラインを著しく上回った。

ABSTRACT

In this paper, we propose a new automatic Action Units (AUs) recognition method used in a competition, Affective Behavior Analysis in-the-wild (ABAW). Our method tackles a problem of AUs label inconsistency among subjects by using pairwise deep architecture. While the baseline score is 0.31, our method achieved 0.67 in validation dataset of the competition.

研究の動機と目的

• 骨格構造やしわなどの個人差に起因する被騣間でのAUラベルの不一致という課題に対処する。
• 単一画像のAU認識モデルが顔貌の被騣間変動を考慮できないという限界を克服する。
• 動画全体での顔貌の時間的変化を分析することで、人間のコーダーがAU強度を評価するプロセスを模倣する手法を開発する。
• ビデオレベルの文脈と相対的比較を活用することで、ABAW 2020ベンチマークにおけるAU認識性能を向上させる。
• 2段階の深層学習パイプラインを用いて、ABAW検証データセットで最先端のパフォーマンスを達成する。

提案手法

• 同じビデオから得た画像ペアを用いて、ペアワイズ深層ネットワークを学習し、相対的AU強度順位を予測する。
• マージン t=1 を用いたコントラスト型損失関数を採用し、疑似強度順位が真のAU強度順位と一致するように保証する。
• しわの深さや筋肉の動きなどの顔貌変化の度合いを表す、被騣に依存しない疑似強度を学習する。
• 疑似強度からビデオレベルの変動特徴を抽出し、強度範囲における百分位数（0番目、10番目、…、100番目）および周波数分布を含む。
• 交差エントロピー損失を用いて、変動特徴をAU発生または強度ラベルにマッピングする全結合ネットワーク（FCN）を訓練する。
• 前処理段階でプロクラステスアライメントを適用し、画像間での顔の幾何学的正規化を実施する。

実験結果

リサーチクエスチョン

• RQ1 ペアワイズ深層学習アーキテクチャは、AU認識に向けた被騣に依存しない顔貌変化の強度を効果的にモデル化できるか？
• RQ2 画像ペア間の相対的強度順位を学習することで、被騣間のラベル不一致に対するロバスト性が向上するか？
• RQ3 疑似強度のビデオレベルの変動特徴（百分位数と周波数分布）は、単一フレーム分析を上回るAUラベル予測を向上させられるか？
• RQ4 本手法は、実世界のAU認識ベンチマークにおいて、単一画像ベースラインをどの程度上回るか？
• RQ5 コーダーがAU強度を時間的変化に基づいて評価すると仮定することは、実際の応用において妥当で効果的か？

主な発見

• 提案手法は、ABAW 2020検証データセットで0.67のコンペティションメトリックスコアを達成し、0.31のベースラインを著しく上回った。
• 検証セットでは平均F1スコアが0.39、総合正答率が0.95を達成し、精度と再現率の両面で優れた性能を示した。
• 相対的順位損失を用いたペア学習により、顔貌変化の大きさを反映する被騣に依存しない疑似強度が効果的に学習された。
• 百分位数と周波数分布を含むビデオレベルの変動特徴を用いて訓練したマッピングモデルは、時間的ダイナミクスを捉えることでAUラベル予測を向上させた。
• 顔貌の個人差（骨格構造や恒常的しわなど）に対して、強度推定を被騣固有の外見から分離することで、本手法はロバスト性を示した。
• 複数回の訓練試行において一貫した性能向上が得られ、検証性能に基づき最良の結果が選択された。