[논문 리뷰] Learning Pain from Action Unit Combinations: A Weakly Supervised Approach via Multiple Instance Learning

Zhanli Chen, Rashid Ansari외 1명|arXiv (Cornell University)|2017. 12. 05.

Emotion and Mood Recognition참고 문헌 17인용 수 3

한 줄 요약

이 논문은 다중 인스턴스 학습(MIL)과 다중 클러스터링 인스턴스 학습(MCIL)을 통해 얼굴의 동작 단위(AU) 조합을 이용한 약한 감독, 이단계 접근법을 제안한다. 프레임 단위 AU 검출과 통계 수준의 레이블로 통합된 통찰을 활용하여, UNBC-McMaster 데이터셋에서 87%의 정확도와 0.94 AUC를 달성하며 강력한 성능과 장기 임상 영상으로의 일반화 능력을 입증한다.

ABSTRACT

Patient pain can be detected highly reliably from facial expressions using a set of facial muscle-based action units (AUs) defined by the Facial Action Coding System (FACS). A key characteristic of facial expression of pain is the simultaneous occurrence of pain-related AU combinations, whose automated detection would be highly beneficial for efficient and practical pain monitoring. Existing general Automated Facial Expression Recognition (AFER) systems prove inadequate when applied specifically for detecting pain as they either focus on detecting individual pain-related AUs but not on combinations or they seek to bypass AU detection by training a binary pain classifier directly on pain intensity data but are limited by lack of enough labeled data for satisfactory training. In this paper, we propose a new approach that mimics the strategy of human coders of decoupling pain detection into two consecutive tasks: one performed at the individual video-frame level and the other at video-sequence level. Using state-of-the-art AFER tools to detect single AUs at the frame level, we propose two novel data structures to encode AU combinations from single AU scores. Two weakly supervised learning frameworks namely multiple instance learning (MIL) and multiple clustered instance learning (MCIL) are employed corresponding to each data structure to learn pain from video sequences. Experimental results show an 87% pain recognition accuracy with 0.94 AUC (Area Under Curve) on the UNBC-McMaster Shoulder Pain Expression dataset. Tests on long videos in a lung cancer patient video dataset demonstrates the potential value of the proposed system for pain monitoring in clinical settings.

연구 동기 및 목표

• 임상적 얼굴 표정 분석에서 레이블이 부족한 통증 데이터 문제를 약한 감독 학습을 활용하여 해결한다.
• 개별 AU 검출에만 의존하는 것보다 AU 조합을 모델링함으로써 통증 검출 정확도를 향상시킨다.
• 인간의 FACS 코딩을 모방하는 분리된 프레임워크를 개발한다: 먼저 프레임 단위에서 AU를 검출하고, 이후 시퀀스 단위에서 통증을 추론한다.
• 표준 데이터셋을 넘어서 실제 환자 데이터에 적응함으로써 장기 임상 영상에서 효과적인 통증 모니터링을 가능하게 한다.
• 폐암 환자 영상 데이터를 활용한 다중 데이터셋 평가를 통해 시스템의 일반화 능력과 강건성을 입증한다.

제안 방법

• 영상 시퀀스에서 프레임 단위로 개별 AUs를 검출하기 위해 최신 자동 얼굴 표정 인식(AFES) 도구를 사용한다.
• 프레임 단위 AU 점수에서 파생된 AU 조합을 인코딩하기 위해 두 가지 새로운 데이터 구조—Compact-MIL 및 Clustered-MCIL—를 구축한다.
• 통증 검출을 약한 감독 문제로 모델링하기 위해 다중 인스턴스 학습(MIL)과 다중 클러스터링 인스턴스 학습(MCIL)을 적용한다. 여기서 레이블은 시퀀스 단위에 할당된다.
• MCIL 프레임워크에서 특징의 흐릿함을 줄이고 마진 분리 성능을 향상시키기 위해 가우시안 믹스(GM) 근사를 적용한다.
• 프레임 단위 AU 레이블과 시퀀스 단위 통증 레이블을 갖춘 UNBC-McMaster 어깨 통증 표정 데이터셋을 기반으로 시스템을 훈련한다.
• 폐암 환자 데이터셋의 장기 영상 서브시퀀스에서 시스템을 테스트하고, AU 조합에 대한 인간 전문가의 공감에 기반한 예측을 비교한다.

실험 결과

연구 질문

• RQ1 개별 AU 기반 접근법과 비교해 통증을 AUs의 조합으로 모델링할 경우 검출 정확도가 향상되는가?
• RQ2 시퀀스 단위 레이블만 제공될 때, MIL 및 MCIL 기반의 약한 감독 학습이 통증 검출에 얼마나 효과적인가?
• RQ3 제안된 분리된 프레임워크—AU 검출 이후 AU 조합 모델링—는 종단 간 이진 통증 분류기보다 더 높은 성능을 달성하는가?
• RQ4 시스템은 장기 임상 영상으로 일반화되어 다양한 환자 집단에서 인간 전문가의 레이블과 일관성을 유지하는가?
• RQ5 클러스터링된 표현에서 유도된 특징의 흐릿함이 모델 성능 향상과 인간 코딩 결정과의 일치도 향상에 얼마나 기여하는가?

주요 결과

• 제안된 시스템은 Compact-MIL 프레임워크를 사용하여 UNBC-McMaster 어깨 통증 표정 데이터셋에서 87%의 통증 인식 정확도와 0.94 AUC를 달성했다.
• Clustered-MCIL 변형은 Compact-MIL 대비 AUC에서 더 높은 성능(0.94 대비 0.92)을 보였으며, 이는 향상된 특징의 흐릿함과 마진 분리 성능 덕분으로 기인한다.
• 폐암 환자 데이터셋의 장기 영상 서브시퀀스에서, 시스템은 최소 3명의 전문가 중 2명 이상이 통증을 식별한 경우 82.9%의 일관성을 보였다.
• 낮은 신뢰도가 있는 케이스에서는 단일 코더와의 일관성이 68.6%였으며, 이는 레이블의 모호성에도 불구하고 강건성을 입증한다.
• 모든 3명의 코더가 평가한 부정(통증 없음) 케이스에서 시스템은 88.9%의 일관성을 보이며, 새로운 임상 데이터로의 일반화 능력이 뛰어나다는 것을 입증했다.
• AU 검출과 통증 추론을 분리한 분리된 아키텍처는 불확실성과 잠재적 통증 표현을 더 잘 다룰 수 있게 하여 성능 향상에 기여했다.