[論文レビュー] MER-GCN: Micro Expression Recognition Based on Relation Modeling with Graph Convolutional Network

Ling Lo, Hongxia Xie+2 more|arXiv (Cornell University)|Apr 19, 2020

Emotion and Mood Recognition参考文献 26被引用数 10

ひとこと要約

本稿では、空間的・時間的特徴抽出に3次元畳み込みニューラルネットワーク（3D ConvNets）を組み合わせ、行動単位（AUs）間の依存関係をモデル化するためのグラフ畳み込みネットワーク（GCN）を用いた、エンド・ツー・エンドのマイクロエクスプレッション認識フレームワークMER-GCNを提案する。AUsレベルの関係性を活用することで、k-fold交差検証を用いたCASME IIデータセット上での最新の精度58.82%を達成し、従来のCNNベースの手法を上回った。

ABSTRACT

Micro-Expression (ME) is the spontaneous, involuntary movement of a face that can reveal the true feeling. Recently, increasing researches have paid attention to this field combing deep learning techniques. Action units (AUs) are the fundamental actions reflecting the facial muscle movements and AU detection has been adopted by many researches to classify facial expressions. However, the time-consuming annotation process makes it difficult to correlate the combinations of AUs to specific emotion classes. Inspired by the nodes relationship building Graph Convolutional Networks (GCN), we propose an end-to-end AU-oriented graph classification network, namely MER-GCN, which uses 3D ConvNets to extract AU features and applies GCN layers to discover the dependency laying between AU nodes for ME categorization. To our best knowledge, this work is the first end-to-end architecture for Micro-Expression Recognition (MER) using AUs based GCN. The experimental results show that our approach outperforms CNN-based MER networks.

研究の動機と目的

• 感情分類における限られたデータと偏りのあるマイクロエクスプレッションデータセットの課題に対処すること。
• 直接的な感情カテゴリ予測に依存するのを減らすために、行動単位（AUs）を中間表現として用いること。
• 顔のAUs間の複雑で隠れた関係性をモデル化し、マイクロエクスプレッション認識を向上させること。
• グラフベースの関係モデリングを用いた、エンド・ツー・エンドでAUに焦点を当てた深層学習アーキテクチャを構築すること。
• GCNが微細な顔の表情分類においてAUsの依存関係を効果的に捉えることの有効性を示すこと。

提案手法

• ビデオクリップからの空間的・時間的特徴を抽出するために3次元畳み込みニューラルネットワーク（3D-CNN）が用いられ、運動と外観の手がかりを捉える。
• 行動単位（AU）領域が特定され、それらがグラフのノードとして表現され、辺は解剖学的および機能的関係を表す。
• グラフ畳み込みネットワーク（GCN）を用いてAUノード間の依存関係をモデル化し、高階層の関係性を学習する。
• 3D-CNNとGCNからの特徴表現をドット積演算によって統合し、分類性能を向上させる。
• 全結合層を用いて最終的なマイクロエクスプレッションカテゴリへの分類を実行する。
• 妥当性と被験者バイアスの低減を目的として、k-foldsとleave-one-subject-out（LOSO）の2つの交差検証戦略が用いられた。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNNと比較して、行動単位（AU）関係のグラフベースモデリングはマイクロエクスプレッション認識の精度を向上させることができるか？
• RQ2 エンド・ツー・エンドでAUに焦点を当てたアーキテクチャは、直接的な感情分類と比較して、MERにおけるラベルバイアスを低減するか？
• RQ3 GCNベースのAU関係モデリングは、微細な顔の表情のための特徴表現をどのように向上させるか？
• RQ4 交差検証戦略の選択（k-folds対LOSO）が、不均衡なMERデータセットにおける性能にどの程度影響を与えるか？
• RQ5 GCNは、データに明示的にラベル付けされていないAUs間の隠れた依存関係を効果的に捉えることができるか？

主な発見

• MER-GCNはk-fold交差検証を用いて58.82%のテスト精度を達成し、最良のベースライン3D-CNNモデル（54.05%）を上回った。
• leave-one-subject-out（LOSO）検証では、MER-GCNは42.71%の精度を達成し、3D-CNNベースラインの42.03%を上回った。
• 事前学習済み3D-CNNモデルは性能が低かった（k-foldで52.37%、LOSOで39.64%）、これはKineticsからCASME IIへのドメインシフトを示唆している。
• GCNによる性能向上は、空間的・時間的特徴学習に加えて、AUsの依存関係をモデル化することでMERが顕著に向上することを示している。
• CASME IIデータセットにおけるクラス不均衡は、LOSO検証においてより高いバイアスを引き起こし、一般化性能に影響を与える可能性がある。
• 本研究は、GCNによるAUレベルの関係モデリングが、現在のMERシステムの限界を克服するための有望な方向性であると確認した。