[논문 리뷰] Explaining First Impressions: Modeling, Recognizing, and Explaining Apparent Personality from Videos

Hugo Jair Escalante, Heysem Kaya외 15명|arXiv (Cornell University)|2018. 02. 02.

Explainable Artificial Intelligence (XAI)참고 문헌 89인용 수 34

한 줄 요약

이 논문은 설명 가능한 인공지능 기법을 사용하여 영상에서 외향적 성격 특성의 모델링, 인식 및 해석을 위한 프레임워크를 제안한다. 첫인상 분석에 도전하는 과제를 제시하며, 다중모달 영상 데이터와 평가 프로토콜을 활용하여 성격 판단에 영향을 미치는 해석 가능한 특징을 규명한다. 주요 결과로는 투명하고 하이브리드 모델이 자동 평가의 책임성과 편향을 감소시키는 데 기여함을 보여준다.

ABSTRACT

Explainability and interpretability are two critical aspects of decision support systems. Within computer vision, they are critical in certain tasks related to human behavior analysis such as in health care applications. Despite their importance, it is only recently that researchers are starting to explore these aspects. This paper provides an introduction to explainability and interpretability in the context of computer vision with an emphasis on looking at people tasks. Specifically, we review and study those mechanisms in the context of first impressions analysis. To the best of our knowledge, this is the first effort in this direction. Additionally, we describe a challenge we organized on explainability in first impressions analysis from video. We analyze in detail the newly introduced data set, the evaluation protocol, and summarize the results of the challenge. Finally, derived from our study, we outline research opportunities that we foresee will be decisive in the near future for the development of the explainable computer vision field.

연구 동기 및 목표

• 첫인상 및 성격 추정 분야에서 컴퓨터 비전 모델의 설명 가능성과 해석 가능성 부족 문제를 해결하기 위해.
• 영상에서 외향적 성격 특성을 예측할 뿐 아니라 그 예측의 근거를 설명하는 방법을 개발하고 평가하기 위해.
• 실제 영상 데이터와 인간이 주석 처리한 성격 평가 결과를 기반으로 한 모델 성능을 비교 평가하기 위해, 설명 가능한 첫인상 분석 과제를 조직하기 위해.
• 영상에서 성격 인식에 가장 기여하는 시각적 및 다중모달 신호(예: 얼굴 표정, 말투, 자세)는 무엇인지 조사하기 위해.
• 채용, 헬스케어, 교육 등 민감한 응용 분야에서 모델 결정의 해석 가능성을 통해 알고리즘의 책임성을 증진하기 위해.

제안 방법

• 저자들은 사전 훈련된 딥 러닝 모델을 사용하여 영상, 오디오 및 텍스트 특징을 조합한 다중모달 영상 분석 파이프라인을 설계하여 외향적 성격 특성을 추정하였다.
• 저희는 새로 수집한 뷰캐스트 데이터셋을 사용하여 ChaLearn 플랫폼에서 첫인상 분석 과제를 도입하였으며, 이 데이터셋은 다섯 가지 성격 특성(예: 개방성, 성실성)에 대해 인과적 평가를 통해 주어졌다.
• 평가 프로토콜은 인식 정확도와 설명 품질을 모두 포함하였으며, 참가자들이 자연어 설명과 시각적 주의 지도를 제출하도록 요구하였다.
• 흑상자 딥 러닝 모델을 특징 추출에 사용하고, 투명하고 해석 가능한 모델(예: 의사결정나무, LIME)을 결정 레이어에 결합하는 하이브리드 모델링 접근법을 제안하였다.
• 주의 시각화, 민감도 맵, 자연어 근거를 통해 설명 가능성을 강화하여 예측에 영향을 미친 영상 세그먼트와 특징을 드러내었다.
• 도메인 전문가와 사용자가 모델의 추론 과정을 점검하고 검증할 수 있도록 인간이 참여하는 검증을 지원하는 프레임워크를 제공하였다.

실험 결과

연구 질문

• RQ1 첫인상에서 영상의 어떤 시각적 및 다중모달 신호가 외향적 성격 특성 예측에 가장 예측력이 있는가?
• RQ2 성능을 희생시키지 않고도 성격 인식을 위한 딥 러닝 모델을 어떻게 해석 가능하고 설명 가능하게 만들 수 있는가?
• RQ3 모델의 설명이 인간이 주석 처리한 근거와 어느 정도 일치하는가?
• RQ4 해석 가능한 모델이 자동 성격 평가 시스템의 편향을 줄이고 신뢰를 증진시킬 수 있는가?
• RQ5 伝통적인 심리측정 성격 평가와 영상 기반 첫인상 평가 사이의 주요 차이는 무엇인가?

주요 결과

• 과제를 통해 흑상자 모델에 비해 깊이 있는 특징 추출과 투명한 결정 모델을 조합한 모델이 더 높은 정확도와 더 나은 설명 품질을 달성하는 것으로 밝혀졌다.
• 인간 평가자들에 의해 얼굴 표정, 말투 패턴, 몸짓이 가장 영향력 있는 설명 요소로 일관되게 평가되었다.
• 주의 지도와 민감도 시각화는 관련 영상 세그먼트를 성공적으로 강조하였으며, 최고 성능을 낸 모델은 인간 주석 처리된 신호와 높은 공간적·시간적 일치도를 보였다.
• 모델이 생성한 자연어 설명은 특히 시각적 및 청각적 특징에 기반할 경우 인간 심사위원들로부터 타당성과 일관성이 있다고 평가받았다.
• 3,000개가 넘는 뷰캐스트로 구성된 데이터셋은 강력한 평가를 가능하게 하였으며, 특히 외향성과 협동심에 대한 첫인상 평가에서 체계적인 편향이 드러났다.
• 엔드 투 엔드 학습과 후행 설명 기법을 조합한 하이브리드 모델은 더 높은 알고리즘 책임성을 보였으며, 고위험 응용 분야에 더 적합한 것으로 나타났다.