[논문 리뷰] Limitations and Biases in Facial Landmark Detection -- An Empirical Study on Older Adults with Dementia

Azin Asgarian, Shun Zhao외 6명|arXiv (Cornell University)|2019. 05. 17.

Face recognition and analysis참고 문헌 31인용 수 8

한 줄 요약

이 연구는 치매가 있는 노인에게 적용할 때 얼굴 랜드마크 검출 알고리즘 편향을 조사하며, 전면 및 측면 얼굴에 대해 일곱 가지 최신 기법을 평가한다. 여섯 개의 데이터셋에서 재학습 및 미세조정을 수행했음에도 불구하고 성능 격차가 지속되며, 특히 입, 눈, 코 부위에서 나타나는 것으로 나타나, 이는 치매 평가의 임상적 신뢰도를 떨어뜨리는 내재된 편향을 시사한다.

ABSTRACT

Accurate facial expression analysis is an essential step in various clinical applications that involve physical and mental health assessments of older adults (e.g. diagnosis of pain or depression). Although remarkable progress has been achieved toward developing robust facial landmark detection methods, state-of-the-art methods still face many challenges when encountering uncontrolled environments, different ranges of facial expressions, and different demographics of the population. A recent study has revealed that the health status of individuals can also affect the performance of facial landmark detection methods on front views of faces. In this work, we investigate this matter in a much greater context using seven facial landmark detection methods. We perform our evaluation not only on frontal faces but also on profile faces and in various regions of the face. Our results shed light on limitations of the existing methods and challenges of applying these methods in clinical settings by indicating: 1) a significant difference between the performance of state-of-the-art when tested on the profile or frontal faces of individuals with vs. without dementia; 2) insights on the existing bias for all regions of the face; and 3) the presence of this bias despite re-training/fine-tuning with various configurations of six datasets.

연구 동기 및 목표

• 치매가 있는 노인과 인지적으로 건강한 동료들에 비해 얼굴 랜드마크 검출 기법이 편향을 보이는지 조사하기 위해.
• 다양한 얼굴 부위에서 전면 및 측면 얼굴 영상에 대해 최신 랜드마크 검출 모델의 성능을 평가하기 위해.
• 다양한 데이터셋을 사용한 재학습 또는 미세조정이 치매 집단과 건강 집단 간 성능 격차를 완화할 수 있는지 평가하기 위해.
• 치매 환자에서 검출 정확도가 크게 떨어지는 특정 얼굴 부위를 특정하기 위해.
• 노화 및 신경퇴행성 인구를 대상으로 한 임상적 얼굴 분석 시스템에서 알고리즘 편향에 대한 실증적 증거를 제공하기 위해.

제안 방법

• 일곱 가지 얼굴 랜드마크 검출 기법을 평가: AAM, CFSS, CLNF, FAN-2D, FAN-3D, PRNet, Mnemonic Descent.
• 여섯 가지 벤치마크 데이터셋을 사용: Helen, AFW, LFPW, MENPO Profile, UNBC-McMaster Pain Archive, 그리고 Dementia를 위한 Pain Dataset.
• Dementia를 위한 Pain Dataset의 전면(Tf) 및 측면(Tp) 얼굴 서브셋에서 실험을 수행하여 건강 집단과 치매 집단 간 성능을 비교하였다.
• 다양한 학습 구성 방식을 사용한 재학습 및 미세조정 수행: S1, S2, S1∪S2, Tf∪S1, Tf∪S2, Tf∪S1∪S2.
• 수렴 곡선과 5% 허용 오차 내 RMS 피팅 오차를 측정하였으며, 통계적 유의성 검정(p-값)을 수행하였다.
• 턱, 눈썹, 코, 눈, 입 부위에서의 성능을 분석하여 편향의 핫스팟을 특정하였다.

실험 결과

연구 질문

• RQ1 치매가 있는 노인과 인지적으로 건강한 노인 간 얼굴 랜드마크 검출 성능에 유의미한 차이가 있는가?
• RQ2 랜드마크 검출 성능 격차가 특정 얼굴 부위(예: 입, 눈, 코)에서 다른 부위보다 더 두드러지는가?
• RQ3 다양한 데이터셋을 사용한 재학습 또는 미세조정으로 치매 집단과 건강 집단 간 성능 격차를 어느 정도 줄일 수 있는가?
• RQ4 치매 환자에서 전면 및 측면 얼굴 시각에서 랜드마크 검출 모델의 성능은 어떻게 달라지는가?
• RQ5 다양한 아키텍처와 학습 전략을 가진 최신 기법들 사이에서도 관찰된 편향이 일관된가?

주요 결과

• 전면 얼굴에서 치매가 있는 노인과 건강한 노인 간 성능 격차가 뚜렷하게 존재하며, 특히 입 부위(52.66% 대 37.54% 수렴), 눈 부위(47.93% 대 44.00%), 코 부위(51.18% 대 46.15%)에서 두드러진다.
• 통합 데이터셋을 사용한 재학습 이후에도 유의미한 통계적 차이(p < 0.001)가 유지되어 지속적인 알고리즘 편향을 시사한다.
• 측면 얼굴 검출 성능은 전반적으로 낮지만, 치매 집단과 건강 집단 간 격차는 전면 얼굴에 비해 작으며, 코와 입 부위에서는 여전히 유의미하다.
• 재학습은 양 집단의 수렴률을 향상시켰지만, 모든 기법과 구성에서 치매 환자와 건강한 개인 간 상대적 성능 격차는 유지되었다.
• AAM 기법은 전면 얼굴에서 전체적으로 가장 높은 성능(건강 집단에서 44.67% 수렴)을 보였지만, 치매 집단에서는 여전히 저조한 성능(37.23% 수렴)을 보였다.
• 측면 얼굴에서 PRNet는 건강 집단에서 가장 높은 수렴률(41.12%)을 기록했지만, 치매 집단에서는 단지 28.92%에 그쳤으며, 전체 얼굴 부위에서 p < 0.001이었다.