[論文レビュー] Limitations and Biases in Facial Landmark Detection -- An Empirical Study on Older Adults with Dementia

Azin Asgarian, Shun Zhao+6 more|arXiv (Cornell University)|May 17, 2019

Face recognition and analysis参考文献 31被引用数 8

ひとこと要約

本研究では、認知症を有する高齢者に対する顔面特徴点検出におけるアルゴリズム的バイアスを調査し、前方および側面の顔に対して7つの最先端手法を評価した。6つのデータセットを用いた再トレーニングおよびファインチューニングを行ったが、依然として性能格差が生じており、特に口、目、鼻の領域で顕著である。これは、認知症評価における臨床的信頼性を損なう、根本的なバイアスを示している。

ABSTRACT

Accurate facial expression analysis is an essential step in various clinical applications that involve physical and mental health assessments of older adults (e.g. diagnosis of pain or depression). Although remarkable progress has been achieved toward developing robust facial landmark detection methods, state-of-the-art methods still face many challenges when encountering uncontrolled environments, different ranges of facial expressions, and different demographics of the population. A recent study has revealed that the health status of individuals can also affect the performance of facial landmark detection methods on front views of faces. In this work, we investigate this matter in a much greater context using seven facial landmark detection methods. We perform our evaluation not only on frontal faces but also on profile faces and in various regions of the face. Our results shed light on limitations of the existing methods and challenges of applying these methods in clinical settings by indicating: 1) a significant difference between the performance of state-of-the-art when tested on the profile or frontal faces of individuals with vs. without dementia; 2) insights on the existing bias for all regions of the face; and 3) the presence of this bias despite re-training/fine-tuning with various configurations of six datasets.

研究の動機と目的

• 認知症を有する高齢者と認知的に健康な同年代の被験者に対して顔面特徴点検出手法がバイアスを示すかどうかを調査すること。
• 異なる顔面領域における前方および側面の顔画像に対して、最先端の特徴点検出モデルの性能を評価すること。
• 多様なデータセットを用いた再トレーニングまたはファインチューニングが、認知症群と健康群の間の性能格差を軽減できるかどうかを評価すること。
• 認知症を有る被験者において、特徴点検出精度が著しく低下する顔面領域を同定すること。
• 高齢化および神経変性疾患を対象とする臨床的顔面分析システムにおけるアルゴリズム的バイアスの実証的証拠を提供すること。

提案手法

• 7つの顔面特徴点検出手法を評価：AAM, CFSS, CLNF, FAN-2D, FAN-3D, PRNet, Mnemonic Descent。
• 6つのベンチマークデータセットを用いた：Helen, AFW, LFPW, MENPO Profile, UNBC-McMaster Pain Archive, Pain Dataset for Dementia。
• Pain Dataset for Dementiaの前方（Tf）および側面（Tp）顔サブセットを用いて、健康群と認知症群の両方で実験を実施。
• 複数のトレーニング設定（S1, S2, S1∪S2, Tf∪S1, Tf∪S2, Tf∪S1∪S2）を用いた再トレーニングおよびファインチューニングを実施。
• 収束曲線と5%許容範囲内のRMSフィッティング誤差を測定し、統計的有意性検定（p値）を実施。
• 顎、眉、鼻、目、口の領域ごとの性能を分析し、バイアスのハイポットを同定。

実験結果

リサーチクエスチョン

• RQ1 認知症を有する高齢者と認知的に健康な高齢者との間で、顔面特徴点検出性能に有意差が認められるか？
• RQ2 特徴点検出の性能格差は、口、目、鼻などの特定の顔面領域で他の領域よりも顕著に現れるか？
• RQ3 多様なデータセットを用いた再トレーニングまたはファインチューニングによって、認知症群と健康群の間の性能格差をどの程度軽減できるか？
• RQ4 認知症を有る被験者において、前方顔と側面顔の両方のビューで特徴点検出モデルの性能にどのような差が生じるか？
• RQ5 異なるアーキテクチャーやトレーニング戦略を有する複数の最先端手法に対しても、観察されたバイアスは一貫しているか？

主な発見

• 前方顔において、認知症を有する高齢者と健康な被験者との間で顕著な性能格差が認められ、特に口（52.66% vs. 37.54% 収束）、目（47.93% vs. 44.00%）、鼻（51.18% vs. 46.15%）の領域で顕著である。
• 併合データセットを用いた再トレーニング後でも、統計的に有意な格差（p < 0.001）が残っており、持続的なアルゴリズム的バイアスを示している。
• 側面顔の検出性能は全体的に低いが、認知症群と健康群の間の格差は前方顔に比べて小さいものの、鼻および口領域では依然として有意である。
• 再トレーニングにより両群の収束率が向上したが、すべての手法および設定において、認知症被験者と健康被験者の間の相対的性能格差は持続した。
• AAM手法は前方顔において全体で最高の性能（健康サブセットで44.67%収束）を示したが、認知症サブセットでは37.23%にとどまり、依然として低性能であった。
• 側面顔においては、PRNetが健康サブセットで最高の収束率（41.12%）を記録したが、認知症サブセットでは28.92%にとどまり、顔全体領域でp < 0.001であった。