[논문 리뷰] ABC-Net: Semi-Supervised Multimodal GAN-based Engagement Detection using an Affective, Behavioral and Cognitive Model.

Pooja Guhan, Manas Agarwal외 4명|arXiv (Cornell University)|2020. 11. 17.

Emotion and Mood Recognition참고 문헌 53인용 수 6

한 줄 요약

ABC-Net는 영상 대화에서 정서적, 행동적, 인지적 참여 모델을 통합하여 참여 수준을 탐지하는 준감독 다중모달 GAN 프레임워크를 제안한다. 이러한 구성요소들로부터 추출한 잠재 표현을 이용해 밸런스와 각성도를 회귀 예측함으로써, RECOLA 데이터셋에서 기존 방법 대비 5퍼센트 이상의 상대적 정확도 향상을 달성하였으며, 이는 다중모달 준감독 네트워크를 사용한 참여도 탐지 분야에서 최초의 방법이다.

ABSTRACT

We present ABC-Net, a novel semi-supervised multimodal GAN framework to detect engagement levels in video conversations based on psychology literature. We use three constructs: behavioral, cognitive, and affective engagement, to extract various features that can effectively capture engagement levels. We feed these features to our semi-supervised GAN network that does regression using these latent representations to obtain the corresponding valence and arousal values, which are then categorized into different levels of engagements. We demonstrate the efficiency of our network through experiments on the RECOLA database. To evaluate our method, we analyze and compare our performance on RECOLA and report a relative performance improvement of more than 5% over the baseline methods. To the best of our knowledge, our approach is the first method to classify engagement based on a multimodal semi-supervised network.

연구 동기 및 목표

• 영상 대화에서 다중모달 데이터를 활용하여 참여 수준을 탐지하기 위한 새로운 프레임워크 개발
• 행동적, 인지적, 정서적 참여와 같은 심리학적 구성요소를 통합한 일관된 딥 러닝 아키텍처 설계
• 제한된 레이블이 있는 데이터에서 성능 향상을 위해 준감독 학습 기법 활용
• 실제 참여도 데이터셋인 RECOLA에서 제안된 방법의 유효성 입증
• GAN 기반의 회귀를 활용한 다중모달 준감독 참여도 탐지의 새로운 기준 설정

제안 방법

• ABC-Net는 영상 대화에서 추출한 정서적, 행동적, 인지적 특징을 동시에 모델링하는 다중모달 GAN 아키텍처를 사용한다.
• 모델은 레이블이 없는 데이터를 활용하여 일반화 능력을 향상시키고 완전히 레이블링된 예제에 대한 의존도를 줄이기 위해 준감독 학습 전략을 적용한다.
• 세 가지 참여도 구성요소에서 유도된 잠재 표현은 회귀 헤드에 입력되어 연속적인 밸런스와 각성도 점수를 예측한다.
• GAN 프레임워크는 생성자와 판별자로 구성되며, 생성자는 현실적인 참여도 표현을 학습하고, 판별자는 진짜 샘플과 생성된 샘플을 구분한다.
• 대부분의 표현 품질과 참여도 예측 정확도를 동시에 최적화하기 위해 적대적 손실과 회귀 손실을 사용하여 엔드 투 엔드로 네트워크를 훈련시킨다.
• 예측된 밸런스와 각성도 값은 이산 참여 상태로 분류되어 참여 수준을 도출한다.

실험 결과

연구 질문

• RQ1 준감독 다중모달 GAN이 심리학적 구성요소를 기반으로 영상 대화에서의 참여 수준을 효과적으로 탐지할 수 있는가?
• RQ2 정서적, 행동적, 인지적 특징은 참여도 탐지 성능 향상에 어떻게 기여하는가?
• RQ3 레이블이 제한된 상황에서 준감독 학습이 모델 성능 향상에 얼마나 기여하는가?
• RQ4 심리학적 모델을 GAN 아키텍처에 통합함으로써 더 정확하고 강건한 참여도 예측이 가능해지는가?
• RQ5 기존 기준 모델 대비 ABC-Net의 참여도 분류 정확도는 어떠한가?

주요 결과

• ABC-Net는 RECOLA 데이터셋에서 기준 모델 대비 5퍼센트 이상의 상대적 성능 향상을 달성하였다.
• 정서적, 행동적, 인지적 참여 모델의 통합은 모델의 예측 능력을 크게 향상시켰다.
• 준감독 학습 전략은 레이블이 없는 데이터를 효과적으로 활용하여 성능 향상을 이끌어냈다.
• 모델는 밸런스와 각성도를 강건하게 예측할 수 있었으며, 이를 기반으로 이산 참여 상태를 유추하였다.
• 저자들이 알고 있는 바에 따르면, ABC-Net은 다중모달 준감독 GAN 프레임워크를 사용하여 참여도를 분류한 최초의 방법이다.
• 프레임워크는 실제 영상 대화 데이터에서 뛰어난 일반화 능력과 확장성을 보였다.