[論文レビュー] Micro-Expression Spotting: A Benchmark

Xiaopeng Hong, Thuong-Khanh Tran+1 more|arXiv (Cornell University)|Oct 8, 2017

Emotion and Mood Recognition参考文献 46被引用数 6

ひとこと要約

本論文は、マルチスケールスライディングウインドウと定義されたプロトコルを用いた標準化された評価フレームワークとして、マイクロエクスプレッションスポットイングベンチマーク（MESB）を導入する。複数の特徴量とテスト設定におけるベースライン結果を提供し、特に被験者独立条件下では、最先端の性能がまだ飽和していないことを示している。

ABSTRACT

Micro-expressions are rapid and involuntary facial expressions, which indicate the suppressed or concealed emotions. Recently, the research on automatic micro-expression (ME) spotting obtains increasing attention. ME spotting is a crucial step prior to further ME analysis tasks. The spotting results can be used as important cues to assist many other human-oriented tasks and thus have many potential applications. In this paper, by investigating existing ME spotting methods, we recognize the immediacy of standardizing the performance evaluation of micro-expression spotting methods. To this end, we construct a micro-expression spotting benchmark (MESB). Firstly, we set up a sliding window based multi-scale evaluation framework. Secondly, we introduce a series of protocols. Thirdly, we also provide baseline results of popular methods. The MESB facilitates the research on ME spotting with fairer and more comprehensive evaluation and also enables to leverage the cutting-edge machine learning tools widely.

研究の動機と目的

• マイクロエクスプレッションスポットイングにおける標準化された評価の欠如が、異なる手法間の公平な比較を妨げているのを是正すること。
• スライディングウインドウを用いて連続フレームのシーケンスを分析することで、頭部の動きや照明変化に起因する誤検出（ファルスポジティブ）に対する耐性を高めること。
• 時間的スケールをマルチスケールで再スケーリングするための時間的補間モデル（TIM）を用いて、さまざまな持続時間のマイクロエクスプレッションを検出可能にする。
• 再現可能なベンチマークのための、一貫性のある評価プロトコル（通常のトレイン/テスト分割と被験者独立（1人を除いた交差検証）の両方を含む）を確立すること。
• さまざまな設定とテストスプリットにおいて、広く用いられる特徴量（HIGO-TOP、HOG-TOP、LBP-TOP）のベースラインパフォーマンス結果を提供すること。

提案手法

• 時間的補間モデル（TIM）を用いて動画シーケンスを再サンプリングすることで、さまざまな長さのマイクロエクスプレッションに対応可能なマルチスケールスライディングウインドウフレームワークを提案する。
• 固定長のスライディングウインドウを用いて連続フレームのシーケンスを分析し、各ウインドウをマイクロエクスプレッション対非マイクロエクスプレッションの2値分類タスクとして扱う。
• 各ウインドウから抽出された3種類の手作業特徴量（HIGO-TOP、HOG-TOP、LBP-TOP）を分類に用いる。
• 各ウインドウに対してバイナリ分類器（例：Adaboost）を適用してマイクロエクスプレッションの有無を予測し、その後ランダムウォーク関数を用いた後処理で出力を精緻化する。
• 2つの主要なプロトコルを用いて評価を標準化する：(1) 通常のトレイン/テスト分割（例：70%/30%）と(2) 1人を除いた交差検証（leave-one-subject-out）を用いて、実世界の被験者独立性能を模擬する。
• 1ウィンドウ単位（FPPW）および1動画単位（FPPV）の指標を用いて性能を評価し、主な評価基準として、固定された偽陽性率における平均ミス率を採用する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールスライディングウインドウ分析は、さまざまな持続時間のマイクロエクスプレッションに対して、性能をどのように向上させるか？
• RQ2 標準化された評価プロトコル下で、異なる特徴量タイプ（HIGO-TOP、HOG-TOP、LBP-TOP）がスポットイング精度に与える影響は何か？
• RQ3 トレイン/テスト分割比を変更（30%/70%、50%/50%、70%/30%）することで、スポットイングモデルの一般化性能にどのような影響が生じるか？
• RQ4 被験者独立評価（1人を除いた交差検証）は、通常のトレイン/テスト分割と比較して、耐性および性能面でどのように異なるか？
• RQ5 公平かつ包括的な評価条件下で、既存手法のベースラインパフォーマンス水準は何か？

主な発見

• 通常のテスト設定（70%/30%分割）下で、ブロックサイズ8×8×4、オーバーラップ率0.2のHOG-TOPが、FPPW = 0.4における平均ミス率25.39%の最良成績を達成した。
• 被験者独立評価（1人を除いた交差検証）下で、LBP-TOPが他の特徴量を上回り、ブロックサイズ8×8×4、オーバーラップ率0.2の条件下で、FPPW = 0.4における平均ミス率26.79%を達成した。
• 1動画単位の評価（FPPV = 1.0）において、ブロックサイズ8×8×4、オーバーラップ率0.2のHOG-TOPが、70%/30%分割下で最も低い平均ミス率54.99%を記録した。
• 被験者独立評価では、HOG-TOPがFPPV = 1.0において平均ミス率68.42%を達成し、HIGO-TOPおよびLBP-TOPを上回った。
• 結果から、現在の手法では性能がまだ飽和していないことが示され、深層学習やアクションユニットモデリングなどの高度な技術のさらなる検討の必要性が浮き彫りになった。
• ベンチマークは、通常の評価と被験者独立評価の間で顕著な性能格差を明らかにし、実世界への導入における課題を強調している。