[論文レビュー] Neonatal Pain Expression Recognition Using Transfer Learning

Ghada Zamzmi, Dmitry B. Goldgof+2 more|arXiv (Cornell University)|Jul 4, 2018

Pediatric Pain Management Techniques参考文献 32被引用数 23

ひとこと要約

本論文では、新生児の顔画像から深層特徴を抽出するため、事前学習済みの VGG-Face および VGG ネットワークを用いた転移学習パイプラインを提案する。これらの深層特徴を、従来の光流に基づくひずみ特徴と組み合わせることで、92.71% の正確性と 0.948 の AUC を達成し、手作業で特徴を抽出する手法に比べ顕著に優れた性能を発揮した。

ABSTRACT

Transfer learning using pre-trained Convolutional Neural Networks (CNNs) has been successfully applied to images for different classification tasks. In this paper, we propose a new pipeline for pain expression recognition in neonates using transfer learning. Specifically, we propose to exploit a pre-trained CNN that was originally trained on a relatively similar dataset for face recognition (VGG Face) as well as CNNs that were pre-trained on a relatively different dataset for image classification (iVGG F,M, and S) to extract deep features from neonates' faces. In the final stage, several supervised machine learning classifiers are trained to classify neonates' facial expression into pain or no pain expression. The proposed pipeline achieved, on a testing dataset, 0.841 AUC and 90.34 accuracy, which is approx. 7 higher than the accuracy of handcrafted traditional features. We also propose to combine deep features with traditional features and hypothesize that the mixed features would improve pain classification performance. Combining deep features with traditional features achieved 92.71 accuracy and 0.948 AUC. These results show that transfer learning, which is a faster and more practical option than training CNN from the scratch, can be used to extract useful features for pain expression recognition in neonates. It also shows that combining deep features with traditional handcrafted features is a good practice to improve the performance of pain expression recognition and possibly the performance of similar applications.

研究の動機と目的

• 観察者のバイアスや一時的な手動スコアリングに起因する問題を解消するため、自動的で連続的かつ一貫性のある新生児の痛み評価手法の開発。
• 公開可能な新生児の痛みデータセットが限られていること、および大人向けに設計された痛み認識モデルが新生児に適応しにくいという課題に対処する。
• 新生児の顔画像に対する転移学習の有効性を検証し、事前学習済み畳み込みニューラルネットワーク（CNN）を用いた痛み分類のための特徴抽出の有効性を評価する。
• 事前学習済みネットワークから抽出した深層特徴と、従来の手作業で特徴を抽出する手法（例：光流に基づくひずみ特徴）を組み合わせることで分類性能が向上するかを調査する。
• 臨床現場において、CNNをからくりに学習するよりも迅速で実用的な代替手法として、新生児の痛み認識に適した手法を提供する。

提案手法

• 顔認識および ImageNet データセットで事前学習済みの畳み込みニューラルネットワーク（VGG-Face, VGG-F, VGG-M, VGG-S）を特徴抽出器として利用する。
• 事前学習済みネットワークの最終全結合層（Post-ReLU）および低層畳み込み層から深層特徴を抽出する。
• 痛み分類に最も関連性の高い特徴を保持するために特徴選択を適用する。
• 二値分類（痛みあり vs. 痛みなし）のため、抽出した深層特徴を用いて教師あり分類器（SVM, kNN, ベイズ推定）を訓練する。
• 深層特徴と、新生児の顔の動画シーケンスから抽出した従来の光流に基づくひずみ特徴を組み合わせる。
• ひずみプロットにピーク検出アルゴリズムを適用し、記述統計（例：平均ひずみ）を生成して手作業特徴とする。

実験結果

リサーチクエスチョン

• RQ1 事前学習済み CNN を用いた転移学習が、新生児の痛み表現認識に特徴を効果的に抽出できるか。
• RQ2 類似したデータセット（VGG-Face）で事前学習されたネットワークの方が、異なるデータセット（VGG-F, VGG-M, VGG-S）で学習されたものよりも優れた性能を示すか。
• RQ3 事前学習済みネットワークから抽出した深層特徴と、従来の手作業特徴（例：光流に基づくひずみ）を組み合わせることで、分類の正確性と AUC が向上するか。
• RQ4 単独で使用する場合と比較して、特徴の組み合わせによる性能向上が統計的に有意であるか。
• RQ5 抽出された特徴のネットワーク層の選択（低層 vs. 高層）が、分類性能に影響を与えるか。

主な発見

• 提案されたパイプラインは、VGG-Face ネットワークの最終全結合層からの深層特徴を用いて 90.34% の正確性と 0.841 の AUC を達成し、従来の手作業特徴（83.88% の正確性、0.719 の AUC）に比べて 7% の向上を示した。
• 最も高い性能を示したモデルは、VGG-Face ネットワークの高層特徴を使用しており、顔認識で事前学習されたモデルが新生児の痛み認識により一般化しやすいという仮説を裏付けた。
• VGG-Face ネットワークの高層特徴から抽出した 10 個の深層特徴と、5 個の光流に基づくひずみ特徴を組み合わせた場合が最良の性能を示し、92.71% の正確性と 0.948 の AUC を達成した。
• 特徴の組み合わせによる改善は統計的に有意であった（p=0.05）ことから、ハイブリッド特徴表現が分類性能を向上させることを示した。
• 高層特徴と低層特徴の AUC 差は統計的に有意ではなかった（p=0.05）ことから、高層特徴が優れているものの、その差は強くはなかった。
• 結果から、転移学習は新生児の痛み認識において、CNN をからくりに学習するのと比較してより迅速で実用的な代替手段であることが示され、低データ環境における性能向上に向けた特徴融合戦略が有望であることが明らかになった。