[論文レビュー] Spotting Macro- and Micro-expression Intervals in Long Video Sequences

Ying He, Sujing Wang+2 more|arXiv (Cornell University)|Dec 18, 2019

Gaze Tracking and Assistive Technology参考文献 27被引用数 5

ひとこと要約

本論文は、長時間の動画シーケンスにおけるマクロおよびマイクロ表現の検出のためのベースライン手法を提示する。主方向最大差分分析（MDMD）を用い、光流の差分を介して顔の動きを検出し、単一フレームの予測結果を時間的区間へ後処理する。CAS(ME)²ではF1スコアが0.1196（マクロ）および0.0082（マイクロ）を達成し、SAMM Long Videosでは0.0629（マクロ）および0.0364（マイクロ）を達成した。これは、高い誤検出率を伴うが初期の妥当性を示している。

ABSTRACT

This paper presents baseline results for the Third Facial Micro-Expression Grand Challenge (MEGC 2020). Both macro- and micro-expression intervals in CAS(ME)$^2$ and SAMM Long Videos are spotted by employing the method of Main Directional Maximal Difference Analysis (MDMD). The MDMD method uses the magnitude maximal difference in the main direction of optical flow features to spot facial movements. The single-frame prediction results of the original MDMD method are post-processed into reasonable video intervals. The metric F1-scores of baseline results are evaluated: for CAS(ME)$^2$, the F1-scores are 0.1196 and 0.0082 for macro- and micro-expressions respectively, and the overall F1-score is 0.0376; for SAMM Long Videos, the F1-scores are 0.0629 and 0.0364 for macro- and micro-expressions respectively, and the overall F1-score is 0.0445. The baseline project codes are publicly available at https://github.com/HeyingGithub/Baseline-project-for-MEGC2020_spotting.

研究の動機と目的

• 長時間の動画シーケンスにおけるマクロおよびマイクロ表現の検出という課題に取り組むこと。これは、個別に検討されがちな場合がある。
• 第3回顔のマイクロ表現グランドチャレンジ（MEGC 2020）のためのベースラインソリューションを提供すること。フレームレベル分類ではなく、区間検出に焦点を当てる。
• 元のMDMD手法を改善し、単一フレームの予測結果を連続した時間的区間に後処理することで、実際の表現継続時間とより整合性をもたせる。
• アノテーションの不正確さに対して耐性を持つよう、0.5のIoU閾値を用いた区間レベルのF1スコアを用いて性能を評価する。
• 2つのベンチマークデータセット（CAS(ME)²およびSAMM Long Videos）において、評価指標および正解ラベルの定義を標準化することで、異なる手法間の公平な比較を可能にする。

提案手法

• 連続するフレーム間で、光流特徴の主方向における最大差分の大きさを計算するために、主方向最大差分分析（MDMD）を適用する。
• MDMDスコアを、顔の動きの強度を示すフレームレベルの指標として用い、高い値は表現発現の可能性を示唆する。
• 隣接するフレームが動きと予測されたものをグループ化することで、フレームレベルの予測結果を後処理し、連続する区間に統合する。
• 不自然に短いまたは長い区間を除去するため、最小および最大長の閾値に基づいて区間をフィルタリングする。CAS(ME)²では16フレーム、SAMM Long Videosでは105フレームを設定する。
• MDMD予測の感度を制御するための閾値パラメータ$p$を調整し、最終的なベースライン設定として$p = 0.01$を選定した。
• 予測された区間と正解ラベルの区間との間で、0.5の交差率（IoU）閾値を用いて真陽性を定義することで、人間によるアノテーションの表現ウィンドウと整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 MDMD手法は、事前にセグメンテーションされたデータに依存せずに、長時間の動画シーケンスにおけるマクロおよびマイクロ表現の区間を効果的に検出できるか？
• RQ2 MDMDにおける閾値$p$の変更が、異なるデータセットにおける検出の精度と再現率のバランスにどのように影響するか？
• RQ3 フレームレベルの予測結果を区間に後処理することで、時間的に整合性のある顔の動きの検出がどの程度向上するか？
• RQ4 現在のベースライン手法と最先端手法との間には、長時間動画におけるマクロおよびマイクロ表現の検出において、どの程度の性能ギャップがあるか？
• RQ5 解像度、フレームレート、表現継続時間の違いを考慮すると、CAS(ME)²とSAMM Long Videosにおけるベースライン手法のF1スコアはどのように比較されるか？

主な発見

• CAS(ME)²データセットでは、マクロ表現検出のF1スコアが0.1196、マイクロ表現検出が0.0082を達成した。
• SAMM Long Videosデータセットでは、マクロ表現のF1スコアが0.0629、マイクロ表現が0.0364であった。これは、マクロ表現の検出率がより高いことを示している。
• CAS(ME)²では全体のF1スコアが0.0376、SAMM Long Videosでは0.0445であった。これは、高い誤検出率のため、全体的な性能が低いことを反映している。
• 真陽性の数は$p$の増加に伴い減少したが、CAS(ME)²ではF1スコアが一時的に上昇し、その後低下した。ピークは$p = 0.12$付近であったが、最終的なベースライン結果では最も低い$p$値（$p = 0.01$）が選択された。
• 両データセットにおいて精度は低く、CAS(ME)²ではマクロ表現で0.0716、マイクロ表現で0.0042であった。これは、誤検出の数が多いことを示している。
• 再現率は、SAMM Long Videosにおけるマイクロ表現（0.1824）がCAS(ME)²（0.3684）よりも相対的に高かったが、F1スコアは低く、そのデータセットでもマイクロ表現の検出は困難であることが示された。