[论文解读] Micro-Expression Spotting: A Benchmark

Xiaopeng Hong, Thuong-Khanh Tran+1 more|arXiv (Cornell University)|Oct 8, 2017

Emotion and Mood Recognition参考文献 46被引用 6

一句话总结

本文提出了微表情检测基准（MESB），一种使用多尺度滑动窗口和标准化协议的标准化评估框架，旨在实现微表情检测方法的公平比较。该基准提供了多种特征和测试设置下的基线结果，表明当前最先进方法的性能仍远未达到饱和，尤其是在主体无关条件下。

ABSTRACT

Micro-expressions are rapid and involuntary facial expressions, which indicate the suppressed or concealed emotions. Recently, the research on automatic micro-expression (ME) spotting obtains increasing attention. ME spotting is a crucial step prior to further ME analysis tasks. The spotting results can be used as important cues to assist many other human-oriented tasks and thus have many potential applications. In this paper, by investigating existing ME spotting methods, we recognize the immediacy of standardizing the performance evaluation of micro-expression spotting methods. To this end, we construct a micro-expression spotting benchmark (MESB). Firstly, we set up a sliding window based multi-scale evaluation framework. Secondly, we introduce a series of protocols. Thirdly, we also provide baseline results of popular methods. The MESB facilitates the research on ME spotting with fairer and more comprehensive evaluation and also enables to leverage the cutting-edge machine learning tools widely.

研究动机与目标

• 为解决微表情检测中缺乏标准化评估的问题，该问题阻碍了不同方法之间的公平比较。
• 通过在滑动窗口中分析连续帧序列，提升对头部运动和光照变化引起的误报的鲁棒性。
• 通过时间维度的多尺度重采样（使用时间插值模型TIM），实现对不同持续时间微表情的检测。
• 建立一致的评估协议，包括正常和主体无关（留一主体）的测试设置，以实现可复现的基准测试。
• 为广泛使用的特征（HIGO-TOP、HOG-TOP、LBP-TOP）在不同配置和测试划分下提供基线性能结果。

提出的方法

• 提出一种多尺度滑动窗口框架，利用时间插值模型（TIM）对视频序列进行重采样，以处理不同长度的微表情。
• 采用固定长度的滑动窗口分析连续帧序列，将每个窗口视为二分类任务（微表情 vs. 非微表情）。
• 从每个窗口中提取三种手工设计特征——HIGO-TOP、HOG-TOP 和 LBP-TOP 用于分类。
• 在每个窗口上使用二分类器（如 Adaboost）预测微表情是否存在，随后通过随机游走函数进行后处理以优化输出。
• 采用两种主要评估协议进行标准化评估：(1) 正常的训练/测试划分（如 70%/30%）；(2) 留一主体交叉验证，以模拟真实世界中的主体无关性能。
• 使用每窗口（FPPW）和每视频（FPPV）指标评估性能，以固定假阳性率下的平均漏检率作为主要评估标准。

实验结果

研究问题

• RQ1 多尺度滑动窗口分析在不同表达持续时间下，如何提升微表情检测性能？
• RQ2 在标准化评估协议下，不同特征类型（HIGO-TOP、HOG-TOP、LBP-TOP）对检测准确率有何影响？
• RQ3 不同训练/测试划分比例（30%/70%、50%/50%、70%/30%）如何影响检测模型的泛化能力？
• RQ4 与标准训练/测试划分相比，主体无关评估（留一主体）在鲁棒性和性能方面表现如何？
• RQ5 在公平且全面的评估条件下，现有方法的基线性能水平如何？

主要发现

• 在 70%/30% 划分的正常测试设置下，HOG-TOP 在块大小 8×8×4 且重叠率 0.2 时，于 FPPW = 0.4 处达到最低平均漏检率 25.39%。
• 在主体无关评估（留一主体）中，LBP-TOP 表现优于其他特征，在块大小 8×8×4 且重叠率 0.2 时，于 FPPW = 0.4 处达到 26.79% 的平均漏检率。
• 在每视频评估（FPPV = 1.0）下，HOG-TOP 在块大小 8×8×4 且重叠率 0.2 时，于 70%/30% 划分下达到最低平均漏检率 54.99%。
• 主体无关结果表明，HOG-TOP 在 FPPV = 1.0 时达到 68.42% 的平均漏检率，优于 HIGO-TOP 和 LBP-TOP，该协议下表现最佳。
• 结果表明，当前方法尚未达到性能饱和，凸显了进一步探索深度学习和动作单元建模等先进技术的必要性。
• 该基准揭示了正常设置与主体无关设置之间存在显著性能差距，凸显了真实世界部署的挑战。