[論文レビュー] Automated Pain Detection from Facial Expressions using FACS: A Review

Zhanli Chen, Rashid Ansari+1 more|arXiv (Cornell University)|Nov 13, 2018

Emotion and Mood Recognition参考文献 81被引用数 23

ひとこと要約

本稿は、顔面行動コード化システム（FACS）を用いた顔の表情からの自動的痛み検出をレビューし、特に深層学習手法を用いた自動顔面表情認識（AFER）フレームワークの臨床的痛み評価への適応を強調する。限られたラベル付き痛みデータという主な課題を特定し、正確でリアルタイムな非言語的患者の痛みモニタリングを実現するため、AFERシステムを多ラベル・弱教師ありAU検出へ拡張することを提案する。

ABSTRACT

Facial pain expression is an important modality for assessing pain, especially when the patient's verbal ability to communicate is impaired. The facial muscle-based action units (AUs), which are defined by the Facial Action Coding System (FACS), have been widely studied and are highly reliable as a method for detecting facial expressions (FE) including valid detection of pain. Unfortunately, FACS coding by humans is a very time-consuming task that makes its clinical use prohibitive. Significant progress on automated facial expression recognition (AFER) has led to its numerous successful applications in FACS-based affective computing problems. However, only a handful of studies have been reported on automated pain detection (APD), and its application in clinical settings is still far from a reality. In this paper, we review the progress in research that has contributed to automated pain detection, with focus on 1) the framework-level similarity between spontaneous AFER and APD problems; 2) the evolution of system design including the recent development of deep learning methods; 3) the strategies and considerations in developing a FACS-based pain detection framework from existing research; and 4) introduction of the most relevant databases that are available for AFER and APD studies. We attempt to present key considerations in extending a general AFER framework to an APD framework in clinical settings. In addition, the performance metrics are also highlighted in evaluating an AFER or an APD system.

研究の動機と目的

• 自動顔面表情認識（AFER）と自動的痛み検出（APD）のフレームワークレベルの類似性を分析し、分野間の手法移転を可能にする。
• APDにおけるシステム設計の進化、特にエンドツーエンドの特徴抽出と多ラベルAU検出を可能にする、従来の機械学習から深層学習への移行を検討する。
• FACSに基づくAPDシステムの開発に向けた主な設計上の配慮事項（特徴抽出、時系列モデリング、モデルの解釈可能性など）を特定する。
• AFERおよびAPD研究に適した公開データベース（特にUNBC-McMaster肩関節痛表情アーカイブ）を特定し、その重要性を強調する。
• 現在のAPDモデルと実臨床ニーズのギャップを埋めるために、より大規模で臨床的妥当性が確認された、痛みラベル付きの顔面表情データセットの構築を提言する。

提案手法

• 11のコアな痛み関連行動単位（AUs）：AU4, AU6/7, AU9/10, AU12, AU20, AU25, AU26, AU27, およびAU43の検出に注力することで、AFERフレームワーク（特に手作業による特徴抽出と深層ニューラルネットワーク（DNN）特徴）をAPDに適応する。
• 痛みは複数のAUsの共起から推定され、自己報告をセグメントレベルの正例として用いる弱教師あり多ラベルAU検出アプローチを採用する。
• 従来の特徴抽出に代えて深層学習モデル（例：DNN）を用いることで、生画像からのエンドツーエンド学習を可能にし、複雑な筋肉の動きのモデリングを向上させる。
• データ不足を緩和するため、事前学習済みDNNを限定的な痛みデータセットで微調整するトランスファー学習を適用し、訓練から再構築することなく性能を向上させる。
• 入力画像のうち、AU予測に最も影響を与える領域を可視化することで、DNNの意思決定を解釈可能にするため、類縁マップを用いる。これによりモデルの透明性が向上する。
• 動的手法などの時系列モデリングを適用し、フレーム単位のAU予測を滑らかにし、時間的経過に沿ったAUイベントの局所化を図ることで、ノイズに対する耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 AFERとAPDの構造的・機能的フレームワークはどのように比較可能か。また、AFER技術は痛み検出にどの程度適応可能か。
• RQ2 実臨床医療現場における一般AFERから特化型APDシステムへの移行に際して、技術的および臨床的課題は何か。
• RQ3 FACSに基づくシステムにおいて、深層学習アーキテクチャは従来の機械学習手法に比べ、痛み検出の正確性と耐性をどのように向上させるか。
• RQ4 公開データベース（特にUNBC-McMasterデータセット）はAPD研究の進展に果たす役割は何か。また、その限界は何か。
• RQ5 弱教師あり多ラベルAU検出を最適化することで、臨床的痛み強度をより的確に反映し、システムの信頼性を向上させることは可能か。

主な発見

• PrkachinとSolomonの痛み強度（PSPI）指標は、FACSを用いた痛み強度の定量化に広く用いられ、かつ検証済みの方法であり、Pain = AU4 + max(AU6,AU7) + max(AU9,AU10) + AU43 として定義される。
• 研究の間で一貫して痛みに関連するとされる11のコアAUは、眉下がり（AU4）、頬の上昇・瞼の締まり（AU6/7）、鼻のしわと上唇の上昇（AU9/10）、目を閉じる（AU43）であり、さらにAU12, AU20, AU25, AU26, AU27も痛みに関連するとされている。
• AFER分野の進展にもかかわらず、APDに特化した研究はわずかであり、痛みラベル付きデータの入手制限のため、大多数のAPDモデルは初期段階にとどまっている。
• UNBC-McMaster肩関節痛表情アーカイブは、APD研究のための唯一の公開可能データセットであり、急性の肩関節痛に限定された研究を制限し、一般化可能性を制限している。
• データ不足を補うためにトランスファー学習を組み合わせた深層学習モデルは、従来手法に比べてAU検出性能が優れている。
• 類縁マップにより、DNNベースのAPDシステムの意思決定を解釈可能にし、痛み関連AU検出に最も関連する顔面領域を強調することで、臨床的信頼性と検証性を向上させている。