[論文レビュー] Adversarial Graph Representation Adaptation for Cross-Domain Facial Expression Recognition

Yuan Xie, Tianshui Chen+3 more|arXiv (Cornell University)|Aug 3, 2020

Emotion and Mood Recognition参考文献 57被引用数 4

ひとこと要約

本稿では、異種ドメイン間での顔の感情認識のため、グラフニューラルネットワークと敵対的学習を統合する新規フレームワークであるAdversarial Graph Representation Adaptation (AGRA)を提案する。この手法は、ドメイン間で包括的で局所的な顔の特徴を同時に適応させる。構造的グラフを用いてドメイン内およびドメイン間の関係をモデル化し、メッセージパッシングによりドメイン不変の表現を精錬することで、5つのベンチマークデータセットを対象に平均66.13%の精度を達成し、最先端性能を実現した。

ABSTRACT

Data inconsistency and bias are inevitable among different facial expression recognition (FER) datasets due to subjective annotating process and different collecting conditions. Recent works resort to adversarial mechanisms that learn domain-invariant features to mitigate domain shift. However, most of these works focus on holistic feature adaptation, and they ignore local features that are more transferable across different datasets. Moreover, local features carry more detailed and discriminative content for expression recognition, and thus integrating local features may enable fine-grained adaptation. In this work, we propose a novel Adversarial Graph Representation Adaptation (AGRA) framework that unifies graph representation propagation with adversarial learning for cross-domain holistic-local feature co-adaptation. To achieve this, we first build a graph to correlate holistic and local regions within each domain and another graph to correlate these regions across different domains. Then, we learn the per-class statistical distribution of each domain and extract holistic-local features from the input image to initialize the corresponding graph nodes. Finally, we introduce two stacked graph convolution networks to propagate holistic-local feature within each domain to explore their interaction and across different domains for holistic-local feature co-adaptation. In this way, the AGRA framework can adaptively learn fine-grained domain-invariant features and thus facilitate cross-domain expression recognition. We conduct extensive and fair experiments on several popular benchmarks and show that the proposed AGRA framework achieves superior performance over previous state-of-the-art methods.

研究の動機と目的

• データの不一致やアノテーションの主観的バイアスによって生じる顔の感情認識におけるドメインシフトを解消すること。
• 従来の敵対的手法が包括的特徴にのみ焦点を当て、より転送性の高い局所的特徴を無視するという限界を克服すること。
• ドメイン内およびドメイン間で包括的特徴と局所的特徴の相互作用をモデル化することで、クロスドメインFERの性能を向上させること。
• グラフベースのメッセージパッシングと敵対的適応を統合したフレームワークを構築し、細粒度のドメイン不変特徴学習を可能にすること。
• 構造的グラフ初期化と隣接行列の共同最適化が、より良い特徴適応に与える影響を実証すること。

提案手法

• ドメイン内接続（1つのドメイン内における包括的および局所的領域）をモデル化するグラフと、ドメイン間接続（ソースドメインとターゲットドメイン間の対応する領域）をモデル化するグラフをそれぞれ構築する。
• 顔のランドマークから抽出した包括的画像特徴と局所的領域特徴に加え、各ドメインから学習されたクラスごとの統計的分布を用いて、グラフのノードを初期化する。
• 2段階のグラフ畳み込みネットワーク（GCN）を用いる：1つはドメイン内でのメッセージパッシングにより包括的・局所的特徴の相互作用をモデル化し、もう1つはドメイン間でのメッセージパッシングにより特徴を統合する。
• ドメイン判別器を用いた敵対的訓練を導入し、ドメイン不変な特徴表現を促進することでドメイン差を最小化する。
• トレーニング中にグラフの隣接行列を同時に最適化し、効果的なメッセージ伝達を導くデータ固有の構造的事前知識を学習する。
• 10エポックごとに特徴クラスタの反復的精錬と再クラスタリングを実施し、トレーニングの安定性と表現品質の向上を図る。

実験結果

リサーチクエスチョン

• RQ1 包括的特徴と局所的特徴の相関関係をモデル化することで、クロスドメイン顔の感情認識におけるドメイン不変表現学習が向上するか？
• RQ2 ドメイン内およびドメイン間の特徴関係に構造的グラフ表現を組み込むことで、包括的特徴のみを用いた適応と比較して性能がどのように向上するか？
• RQ3 隣接行列に事前知識（手動で定義されたもの vs. 学習されたもの）を組み込むと、モデルの頑健性と精度にどのような影響を与えるか？
• RQ4 GCNの層数とメッセージパッシングの反復回数が、特徴精錬および過剰平滑化の回避に与える影響は何か？
• RQ5 トレーニング中に隣接行列を共同で最適化することで、ドメイン統合が向上し、データセット間での一般化性能が向上するか？

主な発見

• AGRAは5つのベンチマークデータセット（CK+、JAFFE、SFEW2.0、FER2013、ExpW）で平均66.13%の精度を達成し、最先端手法を上回った。
• ランダム初期化された隣接行列を使用した場合（Ours RM）は、完全なAGRAフレームワークと比較して平均精度が6.65%低下し、構造的事前知識の重要性を示した。
• トレーニング中に隣接行列を固定した場合、平均精度は66.13%から56.01%に低下し、グラフ構造の共同学習が適応性能を向上させることを示した。
• ドメイン内GCNを2層、ドメイン間GCNを1層に設定した場合が最適な性能を示し、より深いネットワークは特徴の過剰平滑化を引き起こし、性能を低下させた。
• 隣接行列をすべて1の行列に置き換えた場合（Ours OM）は、平均精度が3.32%低下し、均一な接続よりも単純な事前知識でも効果的であることが示された。
• アブレーションスタディの結果、反復的更新と定期的再クラスタリングの両方が不可欠であることが判明。片方だけを用いた場合、それぞれ2.50%および3.48%の性能低下を示した。