[논문 리뷰] Adversarial-based neural networks for affect estimations in the wild

Decky Aspandi, Adria Mallol-Ragolta외 2명|arXiv (Cornell University)|2020. 02. 03.

Emotion and Mood Recognition참고 문헌 36인용 수 4

한 줄 요약

이 논문은 실외 환경에서의 정서 평가를 향상시키기 위해 노이즈 제거 오토인코더 생성기에서 유도한 잠재 특징을 활용하는 적대적 신경망 프레임워크를 제안한다. 이러한 잠재 특징을 조건으로 삼은 다모달 판별기와 음성 모odal리티를 통합함으로써, SEWA 및 ABAW 챌린지 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하였다. 이는 분리된 잠재 표현을 활용한 적대적 훈련이 정서 컴퓨팅 모델의 성능을 향상시킬 수 있음을 보여준다.

ABSTRACT

There is a growing interest in affective computing research nowadays given its crucial role in bridging humans with computers. This progress has been recently accelerated due to the emergence of bigger data. One recent advance in this field is the use of adversarial learning to improve model learning through augmented samples. However, the use of latent features, which is feasible through adversarial learning, is not largely explored, yet. This technique may also improve the performance of affective models, as analogously demonstrated in related fields, such as computer vision. To expand this analysis, in this work, we explore the use of latent features through our proposed adversarial-based networks for valence and arousal recognition in the wild. Specifically, our models operate by aggregating several modalities to our discriminator, which is further conditioned to the extracted latent features by the generator. Our experiments on the recently released SEWA dataset suggest the progressive improvements of our results. Finally, we show our competitive results on the Affective Behavior Analysis in-the-Wild (ABAW) challenge dataset

연구 동기 및 목표

• 실세계(실외) 환경에서 정서 추정 성능을 향상시키기 위해 적대적으로 학습된 잠재 특징의 활용을 탐색한다.
• 생성기에서 추출한 분리된 잠재 표현을 조건으로 삼아 판별기를 조정하여 다모달 정서 인식 성능을 향상시킨다.
• 잠재 특징 조건부로 수행하는 적대적 훈련이 연속적인 정서 추정 과제 성능을 향상시키는지 조사한다.
• 대규모 실세계 데이터셋인 SEWA 및 Aff-Wild2에서 제안된 방법의 성능을 평가한다.
• 다양한 모달리티(음성 및 시각)와 적대적 특징 학습을 융합하여 정서 추정의 정확성을 높일 수 있음을 입증한다.

제안 방법

• 모델은 스타-GAN 기반 아키텍처를 사용하며, 이미지 노이즈 제거 및 잠재 특징 추출을 위한 오토인코더 기반 생성기(AEG)와 조건부 판별기를 포함한다.
• AEG는 노이즈가 있는 입력에서 깨끗한 이미지를 생성하고, 이를 통해 강건한 잠재 특징 z를 생성하며, 이 특징 z는 판별기를 조건으로 사용한다.
• 조건부 판별기(CD)는 시각적 및 청각적 입력을 모두 처리하며, 잠재 특징 z를 조건으로 삼아 진위 여부 및 정서 수준(정서성 및 각성도)을 추정한다.
• AEG와 CD 간에 적대적 훈련을 수행하며, AEG는 재구성 오차를 최소화하고 CD를 속이려 하며, CD는 진짜 및 가짜 샘플에 대해 분류 정확도를 최대화한다.
• 훈련 중에 청각 모달리티는 시각적 특징과 청각 임베딩을 연결하여 통합된다.
• 재구성에 표준 ℓ² 손실과 분포 매칭을 위한 적대적 손실을 사용하며, 잠재 공간에 대해 점진적 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 적대적으로 학습된 잠재 특징은 실외 영상 데이터에서 연속적인 정서 추정 성능을 향상시킬 수 있는가?
• RQ2 노이즈 제거 오토인코더에서 추출한 잠재 표현을 조건으로 삼은 판별기는 정서성 및 각성도 예측 성능을 향상시키는가?
• RQ3 청각 모달리티의 통합은 적대적 프레임워크 내에서 다모달 정서 추정 성능에 어떤 영향을 미치는가?
• RQ4 잠재 특징 조건부로 수행하는 적대적 훈련은 실외 정서 인식 벤치마크에서 표준 딥러닝 기반 모델보다 얼마나 뛰어나게 성능을 향상시키는가?
• RQ5 제안된 방법은 SEWA 및 Aff-Wild2와 같은 다양한 데이터셋에 일반화되어 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 AEG-CD-SZ 모델은 SEWA 데이터셋에서 각성도에 대해 CCC 0.430을 기록하여 베이스라인(0.427)과 최신 기술 수준 방법(0.392)을 초월하였다.
• ABAW 챌린지 데이터셋에서 AEG-CD-SZ 모델은 각성도에 대해 CCC 0.26을 기록하여 베이스라인(0.24)을 초월했으며, 표준 판별기 대비 일관된 성능 향상을 보였다.
• 잠재 특징 z와 청각 모달리티를 모두 통합한 AEG-CD-SZ는 특히 각성도 차원에서 가장 높은 성능 향상을 보였으며, 이는 다모달 및 잠재 조건부 학습의 중요성을 시사한다.
• 판별기 전용 베이스라인(Disc)이 SEWA 베이스라인을 정서성 및 각성도 지표에서 모두 능가했으며, 이는 단순한 적대적 훈련 자체가 성능 향상에 기여함을 시사한다.
• AEG의 노이즈 제거 능력은 시각적으로 검증되었으며, 생성된 이미지가 원본 입력 대비 노이즈 감소와 명료도 향상이 뚜렷하게 관찰되었다.
• 모든 모델 변종에서 점진적인 성능 향상이 관찰되었으며, AEG-CD-SZ는 두 데이터셋 및 모든 지표에서 일관되게 최상의 성능을 기록하였다.