[論文レビュー] DeepFaceLIFT: Interpretable Personalized Models for Automatic Estimation of Self-Reported Pain

Dianbo Liu, Fengjiao Peng+4 more|arXiv (Cornell University)|Aug 9, 2017

Machine Learning in Healthcare参考文献 29被引用数 30

ひとこと要約

DeepFaceLIFT は、手作業で作成した個人特徴とマルチタスク学習を用いて、顔の表情から自己報告の視覚的アナログスケール（VAS）疼痛スコアを推定する二段階で構成され、解釈可能な個人化モデルを提案する。ニューラルネットワークとガウス過程回帰を組み合わせることで、35%のクラス内相関（対照群の19%）を達成し、DeepLIFTとRBF-ARDカーネル解析により特徴レベルでの解釈性を実現している。

ABSTRACT

Previous research on automatic pain estimation from facial expressions has focused primarily on "one-size-fits-all" metrics (such as PSPI). In this work, we focus on directly estimating each individual's self-reported visual-analog scale (VAS) pain metric, as this is considered the gold standard for pain measurement. The VAS pain score is highly subjective and context-dependent, and its range can vary significantly among different persons. To tackle these issues, we propose a novel two-stage personalized model, named DeepFaceLIFT, for automatic estimation of VAS. This model is based on (1) Neural Network and (2) Gaussian process regression models, and is used to personalize the estimation of self-reported pain via a set of hand-crafted personal features and multi-task learning. We show on the benchmark dataset for pain analysis (The UNBC-McMaster Shoulder Pain Expression Archive) that the proposed personalized model largely outperforms the traditional, unpersonalized models: the intra-class correlation improves from a baseline performance of 19\% to a personalized performance of 35\% while also providing confidence in the model extquotesingle s estimates -- in contrast to existing models for the target task. Additionally, DeepFaceLIFT automatically discovers the pain-relevant facial regions for each person, allowing for an easy interpretation of the pain-related facial cues.

研究の動機と目的

• 自己報告の疼痛の主観的かつ文脈依存性を反映できない、一様な痛み尺度（例：PSPI）の限界を是正すること。
• 自己報告のVASスコア（疼痛測定のゴールドスタンダードとされる）を直接モデル化することで、自動疼痛推定の精度を向上させること。
• 入力の顔の特徴と個人的特徴を出力の疼痛推定に結びつけることで、モデルの解釈性を実現すること。
• 年齢や性別などの個人特徴と観察者による疼痛評価（OPI）が、VAS推定性能に与える影響を調査すること。
• モデルアーキテクチャの変更ではなく、特徴レベルでのパーソナライズを実現する階層的学習フレームワークの開発

提案手法

• 二段階モデル：まず、完全結合ニューラルネットワークがアクティブアパーニャンスモデル（AAM）の顔のランドマーク座標を処理し、フレーム単位のVAS推定値を生成する。
• 次に、フレーム単位の推定値の統計量（合計、平均、四分位範囲）が計算され、それらがガウス過程（GP）回帰モデルに供給され、シーケンス単位のVAS予測が行われる。
• 個人特徴（年齢、性別など）はニューラルネットワークの中間層に埋め込まれ、特徴レベルでのパーソナライズを可能にする。
• DeepLIFTを用いてニューラルネットワーク内の特徴の重要度を計算し、個々の被験者に対してどの顔のランドマークが疼痛推定に最も寄与しているかを解釈可能にする。
• GPモデルはRBF-ARDカーネルを用い、どの統計的特徴（例：平均、四分位範囲）が最終的なVAS推定に最も寄与しているかを特定する。
• VASスコアとOPI（観察者による疼痛強度）スコアを同時に学習することで、一般化性能とロバストネスを向上させるマルチタスク学習を採用する。

実験結果

リサーチクエスチョン

• RQ1 パーソナライズ可能で解釈可能なモデルは、従来の非パーソナライズモデルを上回って、自己報告VAS疼痛スコアの推定性能を向上させることができるか？
• RQ2 個人特徴（例：年齢、性別）は、自動VAS推定の精度にどのように影響を与えるか？
• RQ3 どの顔の領域とフレーム単位推定値の統計的特徴が、シーケンス単位のVASスコアを最も予測可能か？
• RQ4 観察者による疼痛評価（OPI）を組み込むことで、主観的なVASスコアの推定性能はどの程度向上するか？
• RQ5 深層学習モデルにおける特徴レベルの解釈性は達成可能か？また、個々の被験者における痛み表現の違いにどのようなインサイトを提供するか？

主な発見

• 提案されたDeepFaceLIFTモデルは、クラス内相関（ICC）が35%に達し、非パーソナライズモデルの19%というベースラインを著しく上回った。
• フレーム単位VAS推定値の合計（Σ(P)）、平均（μ(P)）、四分位範囲（IQR(P)）が、シーケンス単位の予測において最も重要な統計的特徴である。
• 年齢や性別などの個人特徴を除外すると、平均絶対誤差（MAE）が上昇し、パーソナライズにおけるそれらの特徴の予測的価値を裏付けた。
• モデルは、被験者ごとに異なる顔の領域が疼痛推定に最も関連していることを同定し、その寄与度は個々の被験者で顕著に異なることが判明した。
• ニューラルネットワークの中間層に個人特徴を埋め込むことで最適な性能が得られ、初期融合や後期融合よりも優れた性能を示した。
• GPモデルのRBF-ARDカーネルは、画像シーケンスの長さがVASスコアと相関していることを示しており、Σ(P)とμ(P)の寄与度が強い。