[論文レビュー] Optimal Transport-based Identity Matching for Identity-invariant Facial Expression Recognition

Dae Ha Kim, Byung Cheol Song|arXiv (Cornell University)|Sep 25, 2022

Face and Expression Recognition被引用数 7

ひとこと要約

この論文は、最適輸送を用いて異なるアイデンティティ間で類似した顔の感情をマッチングすることで、アイデンティティに依存しない表現を学習できる、新たなアイデンティティ不変型顔の感情認識フレームワークELIMを提案する。アイデンティティ間の表情類似度を輸送コストとして定式化し、Sinkhorn-Knopp反復法を用いて解くことで、野生データセット上でのPCC/CCC性能を、最先端手法と比較して最大10%向上させる。

ABSTRACT

Identity-invariant facial expression recognition (FER) has been one of the challenging computer vision tasks. Since conventional FER schemes do not explicitly address the inter-identity variation of facial expressions, their neural network models still operate depending on facial identity. This paper proposes to quantify the inter-identity variation by utilizing pairs of similar expressions explored through a specific matching process. We formulate the identity matching process as an Optimal Transport (OT) problem. Specifically, to find pairs of similar expressions from different identities, we define the inter-feature similarity as a transportation cost. Then, optimal identity matching to find the optimal flow with minimum transportation cost is performed by Sinkhorn-Knopp iteration. The proposed matching method is not only easy to plug in to other models, but also requires only acceptable computational overhead. Extensive simulations prove that the proposed FER method improves the PCC/CCC performance by up to 10\% or more compared to the runner-up on wild datasets. The source code and software demo are available at https://github.com/kdhht2334/ELIM_FER.

研究の動機と目的

• 顔の感情認識（FER）におけるアイデンティティ依存の性能低下を、表情スタイルのアイデンティティ間変動によって引き起こす課題に対処すること。
• アイデンティティシフトを明示的にモデル化・補正することで、未観測のアイデンティティへの一般化を向上させる手法を開発すること。
• 最適輸送に基づくマッチングを通じて、アイデンティティ間の相対的表現差を学習し、アイデンティティ不変型FERを実現すること。
• 不一致なラベルペアを含む状況でも、VA（Valence-Arousal）FERの性能を向上させること。

提案手法

• アイデンティティ間のマッチングを最適輸送（OT）問題として定式化し、アイデンティティ間の特徴類似度を輸送コストとして扱う。
• 最小コストの最適輸送計画を求めるために、Sinkhorn-Knopp反復法を用い、異なるアイデンティティ間で類似した表情ペアを特定する。
• マッチングされたアイデンティティペアからIDシフトベクトルを計算し、アイデンティティ固有の表情変動を定量化・モデル化する。
• 最適輸送フローからの関連性重みを損失関数に統合し、訓練中のリスク最小化をガイドする。
• 主なFER損失、PCC/CCC損失、VA回帰損失を組み合わせたマルチタスク学習目的関数を採用し、一般化性能を向上させる。
• 既存のFERモデルと簡単に統合可能なプラグアンドプレイ型フレームワークを採用し、計算コストは限定的である。

実験結果

リサーチクエスチョン

• RQ1 最適輸送を用いて、異なるアイデンティティ間で類似した顔の表情ペアを効果的に特定し、アイデンティティ不変型FERを向上させることができるか？
• RQ2 最適輸送を用いてアイデンティティ間の表情シフトをモデル化することで、野生的かつ分布外のデータセット上での性能がどのように向上するか？
• RQ3 未観測のアイデンティティでテストした際、性能の低下がどの程度軽減されるか？
• RQ4 学習に用いるアイデンティティ数が、アイデンティティマッチング機構の性能に与える影響はどの程度か？

主な発見

• ELIMは、野生データセット上でのPCCおよびCCC性能を、ランナーアップ手法と比較して最大10%向上させ、最先端の性能を示した。
• 不一致な表情ラベルペアを含むサンプルに対しても高い精度を維持しており、表情スタイルのばらつきに対して強いロバストネスを示した。
• 訓練に用いるアイデンティティ数が増えるにつれて性能が着実に向上し、有効なマッチングのためには十分なアイデンティティ多様性が重要であることが確認された。
• t-SNEを用いた可視化により、IDシフトベクトルがアイデンティティ間の表情差を効果的に捉えていることが確認され、本手法の核心的仮定が妥当であることが裏付けられた。
• アブレーションスタディの結果、VA損失を除去すると性能が低下することが示され、表情の連続性を確保するための共同最適化の重要性が明らかになった。
• すべての表情の価値（valence）の符号が反対となる稀なケースに対しても、反復的訓練によりその影響が緩和されるなど、本手法は頑健であることが確認された。