[論文レビュー] Faces of Experimental Pain: Transferability of Deep Learned Heat Pain Features to Electrical Pain

Pooja Prajod, Dominik Schiller+2 more|arXiv (Cornell University)|Jun 17, 2024

Neuroscience and Neural Engineering被引用数 5

ひとこと要約

この研究は、深層熱痛特徴抽出器が1つの痛みデータセットで訓練された後、AI4Pain の顔動画を用いて単純な ANN と LSTM 分類器を訓練し、ベースラインを上回るかを転移学習で検証することを試みる。

ABSTRACT

The limited size of pain datasets are a challenge in developing robust deep learning models for pain recognition. Transfer learning approaches are often employed in these scenarios. In this study, we investigate whether deep learned feature representation for one type of experimentally induced pain can be transferred to another. Participating in the AI4Pain challenge, our goal is to classify three levels of pain (No-Pain, Low-Pain, High-Pain). The challenge dataset contains data collected from 65 participants undergoing varying intensities of electrical pain. We utilize the video recording from the dataset to investigate the transferability of deep learned heat pain model to electrical pain. In our proposed approach, we leverage an existing heat pain convolutional neural network (CNN) - trained on BioVid dataset - as a feature extractor. The images from the challenge dataset are inputted to the pre-trained heat pain CNN to obtain feature vectors. These feature vectors are used to train two machine learning models: a simple feed-forward neural network and a long short-term memory (LSTM) network. Our approach was tested using the dataset's predefined training, validation, and testing splits. Our models outperformed the baseline of the challenge on both the validation and tests sets, highlighting the potential of models trained on other pain datasets for reliable feature extraction.

研究の動機と目的

• 痛み認識のデータ不足問題を、熱痛モデルから電気痛データセットへの転移学習を活用して解決する。
• AI4Pain データセットにおける三段階の電気痛（No-Pain, Low-Pain, High-Pain）を、熱痛から学習した facial features が効果的に分類できるかを評価する。
• 事前学習済みの熱痛 CNN からの特徴量を用いた2つの軽量ターゲットモデル（Voting を用いた ANN, LSTM）の性能を評価する。
• 検証およびテスト分割における転移ベースのモデルを、AI4Pain チャレンジのベースラインと比較する。

提案手法

• BioVid 熱痛データで訓練された Global Average Pooling を備えた VGG16 ベースの事前学習 CNN を、AI4Pain の顔の切り抜き画像の 1024 次元特徴量抽出器として用いる。
• 顔を切り抜き、整列し 224x224 にリサイズする；動画を 30 Hz でサンプリングし、フレームレベルの特徴ベクトルを抽出する。
• 抽出特徴量を用いて2つのターゲットモデルを訓練する：（i）動画レベル予測の多数決を行う4層の単純な ANN、（ii）30 Hz で 10 秒間の300フレーム列を処理する2層の LSTM ネットワーク（バッチ正規化とドロップアウトを適用）。
• AI4Pain の訓練/検証/テスト分割で評価し、精度、適合率、再現率、F1スコアを報告する。ベースライン（Video、fNIRS、Video+fNIRS）と比較する。

実験結果

リサーチクエスチョン

• RQ1 熱痛の facial 表情から学習された特徴量は、三クラス分類（No-, Low-, High-Pain）で電気痛へ一般化できるか。
• RQ2 転移ベースのモデル（ANN と LSTM）は、ドメインを超えた痛み特徴を使用した場合、検証・テストセットでAI4Pain のベースラインを上回るか。
• RQ3 フレームレベルの CNN 派生特徴の転移は、熱痛と電気痛という刺激の違いに対して頑健か。
• RQ4 転置設定における時間系列モデリング（LSTM）とフレームごとの ANN の多数決の使用が及ぼす影響は。

主な発見

• 転移ベースのモデルは検証セットでチャレンジのベースラインを上回り；LSTM は検証精度 0.60 を達成。
• テストセットでは、単純な Voting を用いた ANN が全ベースラインを上回り（0.49）、LSTM は 0.43。
• 検証では unimodal fNIRS ベースラインがベースラインの中で最も良好であり、マルチモーダルの組み合わせは unimodal ベースラインを上回らなかった。
• 熱痛で学習した特徴は、顔動画の電気痛表現を認識するために再利用でき、データが限られる痛み認識の支援につながることを示唆する。