[논문 리뷰] Challenges and Opportunities for Machine Learning Classification of Behavior and Mental State from Images

Peter Washington, Cezmi Onur Mutlu외 8명|arXiv (Cornell University)|2022. 01. 26.

Mental Health Research Topics인용 수 6

한 줄 요약

이 논문은 영상에서 인간의 행동과 정신 상태를 분류하기 위해 컴퓨터 비전과 기계 학습을 사용할 때의 핵심 과제와 기회를 규명한다. 주로 데이터 이질성, 편향, 레이블링 복잡성, 프라이버시, 개인화 문제를 중심으로 다룬다. 모델의 강건성과 정신건강 및 행동건강 분야에서의 임상적 유용성을 향상시키기 위해 피어드 학습, 주도 학습, 표현 학습 등의 고급 기법을 제안한다.

ABSTRACT

Computer Vision (CV) classifiers which distinguish and detect nonverbal social human behavior and mental state can aid digital diagnostics and therapeutics for psychiatry and the behavioral sciences. While CV classifiers for traditional and structured classification tasks can be developed with standard machine learning pipelines for supervised learning consisting of data labeling, preprocessing, and training a convolutional neural network, there are several pain points which arise when attempting this process for behavioral phenotyping. Here, we discuss the challenges and corresponding opportunities in this space, including handling heterogeneous data, avoiding biased models, labeling massive and repetitive data sets, working with ambiguous or compound class labels, managing privacy concerns, creating appropriate representations, and personalizing models. We discuss current state-of-the-art research endeavors in CV such as data curation, data augmentation, crowdsourced labeling, active learning, reinforcement learning, generative models, representation learning, federated learning, and meta-learning. We highlight at least some of the machine learning advancements needed for imaging classifiers to detect human social cues successfully and reliably.

연구 동기 및 목표

• 임상 및 행동과학적 맥락에서 비언어적 사회적 행동과 정신 상태를 자동으로 신뢰성 있게 탐지할 수 있는 수요 증가에 대응하기 위해.
• 시각적 데이터에서 행동형태 분석에 감독 기반 기계 학습을 적용할 때 발생하는 주요 기술적 및 윤리적 과제를 규명하기 위해.
• 주도 학습, 피어드 학습, 표현 학습과 같은 고급 기계 학습 기법을 제안하고 평가하여 모델 성능과 공정성을 향상시키기 위해.
• 영상 데이터를 활용한 정신건강 진단을 위한 프라이버시를 보장하고 개인화되며 편향에 강한 모델을 개발하기 위한 향후 연구를 이끌기 위해.
• 감정적 행동 응용 분야에서 데이터 정제, 레이블링, 모델 평가의 최선의 실천 방안을 수립함으로써 컴퓨터 비전과 임상 정신건강 간 격차를 메우기 위해.

제안 방법

• 행동 분류에 특화된 최신 기계 학습 기법에 대한 종합적 리뷰를 수행하며, 데이터 정제, 데이터 증강, 주도 학습을 포함한다.
• 원시 영상을 공유하지 않고 분산된 데이터에서 학습함으로써 프라이버시를 보존하기 위해 피어드 학습을 적용한다.
• 얼굴 표정과 신체 언어와 같은 복잡한 시각적 입력으로부터 의미 있고 일반화 가능한 특징을 추출하기 위해 표현 학습을 활용한다.
• 저자원 또는 희귀 행동형태에 대해 성능을 향상시키기 위해 생성 모델과 메타학습을 통합한다.
• 행동 데이터셋에서 모호하거나 복합적인 레이블이 존재할 경우를 대비해 품질 제어 메커니즘을 갖춘 커스터마이징된 레이블링을 수행한다.
• 실제 임상 환경에서 동적으로 변화하는 상황에서 모델 결정을 최적화하기 위해 강화 학습 프레임워크를 제안한다.

실험 결과

연구 질문

• RQ1 어떻게 기계 학습 모델을 효과적으로 훈련시켜 시각적 데이터에서 미묘한 비언어적 행동 신호와 정신 상태를 분류할 수 있는가?
• RQ2 모호하거나 복합적인 레이블을 가진 대규모 이질적 행동 데이터셋을 레이블링할 때 주요 과제는 무엇인가?
• RQ3 다양한 인구 통계적 집단 간에 시각 기반 정신 상태 분류기의 편향을 어떻게 탐지하고 완화할 수 있는가?
• RQ4 프라이버시 보장 기법인 피어드 학습이 민감한 행동 영상 데이터를 기반으로 한 모델 훈련에 어떤 역할을 할 수 있는가?
• RQ5 일반화 능력과 임상 유효성을 유지하면서 개인 차이에 맞게 적응할 수 있는 개인화 모델은 어떻게 개발할 수 있는가?

주요 결과

• 개인 및 문화 간 행동 표현의 이질성과 변동성이 모델의 일반화에 있어 중대한 과제를 야기한다.
• 커스터마이징된 레이블링은 효과적이지만, 정신 상태와 행동의 레이블링에서 모호성과 주관성을 관리하기 위해 강력한 품질 제어가 필요하다.
• 학습 데이터에 인구 통계적 다양성이 부족할 경우 모델의 편향이 심해지며, 이는 성별, 민족, 연령대 간 성능 격차로 이어진다.
• 피어드 학습은 원시 영상을 중앙 집중화하지 않고도 민감한 행동 데이터를 기반으로 한 모델 훈련을 가능하게 하여 프라이버시 보호와 임상 데이터 기준 준수를 크게 향상시킨다.
• 표현 학습과 데이터 증강은 희귀하거나 복잡한 정신 상태에 대해 저자원 행동형태에 대한 모델의 강건성을 향상시킨다.
• 주도 학습과 메타학습은 데이터 레이블링 과정에서 정보가 많은 샘플을 우선순위로 지정함으로써 레이블링 비용을 줄이고 모델 수렴을 향상시킨다.