[論文レビュー] Pain Intensity Estimation from Mobile Video Using 2D and 3D Facial Keypoints

Matthew Lee, Lyndon Kennedy+5 more|arXiv (Cornell University)|Jun 17, 2020

Pediatric Pain Management Techniques参考文献 39被引用数 8

ひとこと要約

本論文では、スマートフォンを用いてキャプチャされた2次元および3次元顔のキーポintsを用いて、術後疼痛の強度を推定するモバイルベースのシステムを提案する。本研究では、手術済み患者から収集したラベル付き顔のキーポイントを含む新規データセットを構築し、ノイズの多いフレームレベルのデータを処理するための複数インスタンス学習（MIL）を採用している。3次元特徴量とBlendShapesが2次元キーポイントを上回ることを示しており、時間的クラスタリングを用いた3次元特徴量は、2値疼痛分類において75.0%のAUCを達成した。

ABSTRACT

Managing post-surgical pain is critical for successful surgical outcomes. One of the challenges of pain management is accurately assessing the pain level of patients. Self-reported numeric pain ratings are limited because they are subjective, can be affected by mood, and can influence the patient's perception of pain when making comparisons. In this paper, we introduce an approach that analyzes 2D and 3D facial keypoints of post-surgical patients to estimate their pain intensity level. Our approach leverages the previously unexplored capabilities of a smartphone to capture a dense 3D representation of a person's face as input for pain intensity level estimation. Our contributions are adata collection study with post-surgical patients to collect ground-truth labeled sequences of 2D and 3D facial keypoints for developing a pain estimation algorithm, a pain estimation model that uses multiple instance learning to overcome inherent limitations in facial keypoint sequences, and the preliminary results of the pain estimation model using 2D and 3D features with comparisons of alternate approaches.

研究の動機と目的

• 自己報告に依存しない客観的で、侵襲性のない術後疼痛強度推定手法の開発を目的とする。
• 臨床現場で術後患者から収集した、真値ラベル付きの2次元および3次元顔のキーポイントを含む新規データセットの収集を目的とする。
• モバイル動画から得られる顔のキーポイント系列に内在するノイズや変動を効果的に処理できる疼痛推定モデルの設計を目的とする。
• 2次元と3次元の顔特徴量の性能を比較し、複数インスタンス学習と他のモデリング手法を検証することを目的とする。
• 消費者向けスマートフォンを用いた、高密度3次元顔面再構成を介して臨床水準の疼痛評価を実現する可能性の検証を目的とする。

提案手法

• 深度センシング機能を備えた商業用スマートフォンを用いて、同期された2次元RGB動画と高密度3次元顔面メッシュデータをキャプチャした。
• 3次元メッシュから2次元顔のキーポイント（210点）、3次元顔のキーポイント（3660点）、およびBlendShapes（52次元の表情コード）を抽出した。
• フレーム系列の情報量にばらつきがある状況を考慮し、疼痛推定タスクを複数インスタンス学習（MIL）問題として定式化した。
• フレームを意味のあるインスタンスにグループ化するための時間的クラスタリングを適用し、ランダムまたは均等サンプリングに比べてMILの性能を向上させた。
• MIL処理後の最終予測に、SVM、ガウス過程、およびサポートベクターレグレッションを用いてモデルを訓練・比較した。
• MILを組み込んだ変更版DeepFaceLIFTフレームワークを用いて2値疼痛分類を実施し、AUCを指標として性能を評価した。

実験結果

リサーチクエスチョン

• RQ1 スマートフォンでキャプチャされた3次元顔データは、2次元動画のみに比べて、疼痛強度推定を向上させることができるか？
• RQ2 複数インスタンス学習は、ノイズが多く、品質がばらつきのある顔キーポイント系列からの疼痛強度を効果的にモデル化できるか？
• RQ3 2次元キーポイント、3次元キーポイント、BlendShapesといった異なる特徴表現の間で、疼痛推定の性能に差は生じるか？
• RQ4 フレームの時間的クラスタリングは、MILベースの疼痛推定モデルの性能を向上させるか？
• RQ5 スマートフォンベースのシステムは、非侵襲的・非接触の顔面分析を用いて、2値疼痛レベルの臨床的有用な精度で推定を実現できるか？

主な発見

• 3次元顔のキーポイントは、すべての評価タスクにおいて2次元キーポイントを一貫して上回り、時間的クラスタリングを組み合わせたMILを用いた2値疼痛分類では75.0%のAUCを達成した。
• 低次元（52次元）であるにもかかわらず、BlendShapes特徴表現は2次元および3次元キーポイントを上回り、MIL-Cluster設定では82.6%のAUCを達成した。
• 時間的クラスタリングを組み合わせた複数インスタンス学習は、ランダムまたは均等サンプリングに比べて顕著に性能を向上させ、フレームレベルのばらつきをより効果的に処理できることを示した。
• 時間的クラスタリングを組み合わせたMILアプローチは、3次元キーポイントのAUCが最高の75.0%に達し、SVMを用いたベースラインのDeepFaceLIFT（2次元キーポイントで71.0%）を上回った。
• 本研究では、消費者向けスマートフォンから得られる3次元顔データが、疼痛推定に意味的で判別力のある特徴を提供できることを示した。臨床応用への可能性も示唆された。
• 本研究で提示された、術後患者から収集した真値ラベル付き顔のキーポイントデータセットは、将来的な自動疼痛評価分野の研究における貴重なベンチマークを提供する。