[論文レビュー] Transferring Dual Stochastic Graph Convolutional Network for Facial Micro-expression Recognition

Hui Tang, Li Chai+1 more|arXiv (Cornell University)|Mar 10, 2022

Advanced Computing and Algorithms被引用数 6

ひとこと要約

本稿では、確率的グラフ構築と二重GCNアーキテクチャを活用して、限られたデータから頑健な空間的・時間的特徴を抽出する、転送学習を組み合わせた二重確率的グラフ畳み込みネットワーク（TDSGCN）を提案する。マクロ表現データからの転移学習とクラス不均衡を解消するためのフォーカス損失を統合することで、SAMM（75.0％の正確性）およびMMEW（72.7％の正確性）で最先端の性能を達成した。

ABSTRACT

Micro-expression recognition has drawn increasing attention due to its wide application in lie detection, criminal detection and psychological consultation. To improve the recognition performance of the small micro-expression data, this paper presents a transferring dual stochastic Graph Convolutional Network (TDSGCN) model. We propose a stochastic graph construction method and dual graph convolutional network to extract more discriminative features from the micro-expression images. We use transfer learning to pre-train SGCNs from macro expression data. Optical flow algorithm is also integrated to extract their temporal features. We fuse both spatial and temporal features to improve the recognition performance. To the best of our knowledge, this is the first attempt to utilize the transferring learning and graph convolutional network in micro-expression recognition task. In addition, to handle the class imbalance problem of dataset, we focus on the design of focal loss function. Through extensive evaluation, our proposed method achieves state-of-the-art performance on SAMM and recently released MMEW benchmarks. Our code will be publicly available accompanying this paper.

研究の動機と目的

• 低品質で短時間のサンプルが中心の限られたマイクロ表現データセットの課題に対処する。
• ピクセルベースの特徴抽出の限界を克服するため、グラフ構造による顔の幾何的構造のモデル化を行う。
• 近隣点とランダムサンプリングを組み合わせた新しい確率的グラフ構築法を用いて、特徴の識別性を向上させる。
• マクロ表現データからの転移学習により、GCNを事前学習し、小さなマイクロ表現データセットでの性能を向上させる。
• カスタムフォーカス損失関数を用いて、マイクロ表現データセットのクラス不均衡を軽減する。

提案手法

• 各ノードが $p$ 個の最近傍点と $q$ 個のランダムに選択されたノードに接続する確率的 $p+q$ グラフ構築法を提案し、冗長性と計算コストを低減する。
• 顔の画像とオプティカルフロー列から補完的特徴を抽出するため、空間的および時間的ブランチを別々に持つ二重グラフ畳み込みネットワーク（DGCN）を設計する。
• マイクロ表現データで微調整する前に、大規模なマクロ表現データセットでSGCNを事前学習することで、転移学習を適用する。
• 時間的ダイナミクスを捉えるために、オプティカルフロー特徴を統合する。
• 容易で誤分類されたサンプルを軽減し、レアクラスでの学習を向上させるために、フォーカス損失関数を採用する。
• 二重GCNブランチからの空間的および時間的特徴を統合し、最終的な分類を行う。

実験結果

リサーチクエスチョン

• RQ1 確率的グラフ構築法は、計算コストを低減しつつ、マイクロ表現認識における特徴表現を向上させることができるか？
• RQ2 二重GCNアーキテクチャは、マイクロ表現の識別的空間的・時間的特徴を捉える上で、単一GCNを上回る性能を示すか？
• RQ3 マクロ表現データからの転移学習は、小さなマイクロ表現データセットでの認識正確性を顕著に向上させることができるか？
• RQ4 フォーカス損失は、マイクロ表現ベンチマークにおけるクラス不均衡によって引き起こされる性能低下をどの程度軽減できるか？
• RQ5 空間的および時間的ブランチは、時間的コンテンツが異なるデータセットにおいて、認識性能にどのように異なる寄与をしているか？

主な発見

• 提案されたTDSGCNモデルは、SAMMベンチマークで75.0％の認識正確性を達成し、従来の最先端手法を上回った。
• MMEWベンチマークでは、8+2および4+0のグラフアーキテクチャとフォーカス損失を用いて72.7％の正確性に到達し、既存のアプローチを上回った。
• 二重GCNアーキテクチャは、単一GCNの変種を常に上回り、両データセットで最高の正確性を示したのは8+2および4+0の設定であった。
• オプティカルフローに基づく時間的特徴は、運動がより変動しやすいMMEWでは性能を向上させたが、運動変動が最小限のSAMMでは向上しなかった。
• フォーカス損失は、交差エントロピー損失よりも顕著に認識性能を向上させた、特にクラス不均衡の影響を受ける状況で顕著であった。
• アブレーションスタディの結果、空間ブランチが時間的ブランチよりも寄与が大きく、特に時間的ダイナミクスが情報量が少ないSAMMにおいて顕著であった。