[论文解读] Faces of Experimental Pain: Transferability of Deep Learned Heat Pain Features to Electrical Pain

Pooja Prajod, Dominik Schiller+2 more|arXiv (Cornell University)|Jun 17, 2024

Neuroscience and Neural Engineering被引用 5

一句话总结

该研究测试是否在一个疼痛数据集上训练的深度热痛特征提取器能否迁移到电痛识别，使用 AI4Pain 面部视频来训练简单的 ANN 和 LSTM 分类器，表现优于基线。

ABSTRACT

The limited size of pain datasets are a challenge in developing robust deep learning models for pain recognition. Transfer learning approaches are often employed in these scenarios. In this study, we investigate whether deep learned feature representation for one type of experimentally induced pain can be transferred to another. Participating in the AI4Pain challenge, our goal is to classify three levels of pain (No-Pain, Low-Pain, High-Pain). The challenge dataset contains data collected from 65 participants undergoing varying intensities of electrical pain. We utilize the video recording from the dataset to investigate the transferability of deep learned heat pain model to electrical pain. In our proposed approach, we leverage an existing heat pain convolutional neural network (CNN) - trained on BioVid dataset - as a feature extractor. The images from the challenge dataset are inputted to the pre-trained heat pain CNN to obtain feature vectors. These feature vectors are used to train two machine learning models: a simple feed-forward neural network and a long short-term memory (LSTM) network. Our approach was tested using the dataset's predefined training, validation, and testing splits. Our models outperformed the baseline of the challenge on both the validation and tests sets, highlighting the potential of models trained on other pain datasets for reliable feature extraction.

研究动机与目标

• 通过利用从热痛模型迁移学习来解决疼痛识别中的数据稀缺问题，适用于电痛数据集。
• 评估从热痛中学习的面部特征是否能够在 AI4Pain 数据集上有效对三种电痛水平（无痛、低痛、高痛）进行分类。
• 评估两种轻量级目标模型（使用投票的 ANN 和 LSTM）在使用预训练热痛 CNN 的特征时的性能。
• 将基于迁移的模型与 AI4Pain 挑战的基线在验证集和测试集上进行比较。

提出的方法

• 使用在 BioVid 热痛数据上训练的基于 VGG16 的 CNN（通过全局平均池化修改）作为面部裁剪图的 1024 维特征提取器。
• 将人脸裁剪、对齐并调整为 224x224；以 30 Hz 采样视频并提取逐帧特征向量。
• 在提取的特征上训练两种目标模型： (i) 一个简单的四层 ANN，使用多数投票进行视频级预测；(ii) 一个两层的 LSTM 网络，处理 300 帧序列（在 30 Hz 下相当于 10 秒），并进行批量归一化和 dropout。
• 在 AI4Pain 的训练/验证/测试分割上进行评估，并报告准确率、精确率、召回率和 F1 分数；与基线（Video、fNIRS 和 Video+fNIRS）进行比较。

实验结果

研究问题

• RQ1 从热痛面部表情学到的特征能否对三分类（无痛、低痛、高痛）的电痛进行泛化？
• RQ2 在跨域疼痛特征的情况下，迁移基模型（ANN 和 LSTM）是否在验证集和测试集上超过 AI4Pain 基线？
• RQ3 逐帧CNN派生特征迁移在面部表情中的跨刺激差异（热痛 vs 电痛）是否具有鲁棒性？
• RQ4 在此迁移设置中，使用时序建模（LSTM）与逐帧的 ANN 进行多数投票对比的影响如何？

主要发现

• 两种迁移基模型在验证集上都超过了挑战基线；LSTM 实现了最高的验证准确率 0.60。
• 在测试集上，简单的带投票的 ANN 超过所有基线（0.49）和 LSTM（0.43）。
• 在验证集上，单模态 fNIRS 基线表现最好，而多模态组合并未优于单模态基线。
• 结果表明，热痛学习的特征可以重新用于识别面部视频中的电痛表达，有助于在数据有限的情况下进行痛感识别。