[논문 리뷰] Frame attention networks for facial expression recognition in videos

Debin Meng, Xiaojiang Peng외 2명|arXiv (Cornell University)|2019. 06. 29.

Emotion and Mood Recognition참고 문헌 28인용 수 12

한 줄 요약

이 논문은 깊이 학습 프레임워크인 프레임 어텐션 네트워크(Framed Attention Networks, FAN)를 제안한다. 이는 비디오 시퀀스에서 분류에 기여하는 중요한 얼굴 프레임을 자동으로 식별하고 가중치를 부여하기 위해 이중 어텐션 메커니즘—자기어텐션과 관계어텐션—을 사용한다. 이 방법은 수동적인 프레임 집계 없이 엔드 투 엔드로 프레임 중요도를 학습함으로써 CK+ 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

The video-based facial expression recognition aims to classify a given video into several basic emotions. How to integrate facial features of individual frames is crucial for this task. In this paper, we propose the Frame Attention Networks (FAN), to automatically highlight some discriminative frames in an end-to-end framework. The network takes a video with a variable number of face images as its input and produces a fixed-dimension representation. The whole network is composed of two modules. The feature embedding module is a deep Convolutional Neural Network (CNN) which embeds face images into feature vectors. The frame attention module learns multiple attention weights which are used to adaptively aggregate the feature vectors to form a single discriminative video representation. We conduct extensive experiments on CK+ and AFEW8.0 datasets. Our proposed FAN shows superior performance compared to other CNN based methods and achieves state-of-the-art performance on CK+.

연구 동기 및 목표

• 모든 프레임을 동일하게 취급하는 비디오 기반 얼굴 표정 인식의 한계를 해결하기 위해, 다양한 분류 가치를 지닌 프레임을 고려하지 못하는 문제를 해결한다.
• 고정된 평균화나 통계적 풀링에 의존하는 것 대신, 프레임 중요도를 적응적으로 모델링함으로써 비디오 수준의 표현 학습을 향상시킨다.
• 특징 임bedding과 프레임 어텐션 가중치를 동시에 학습할 수 있는 엔드 투 엔드로 트레이닝 가능한 프레임워크를 설계한다.
• 어텐션 메커니즘이 비디오 내 시간적 동적 변화와 핵심 얼굴 표정을 효과적으로 포착할 수 있는지 검증한다.
• 오디오나 복잡한 후처리 기법 없이도 시각적 특징만을 사용하여 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 비디오의 각 얼굴 프레임에서 고정된 차원의 특징 벡터를 추출하기 위해 깊이 학습된 컨volutional 신경망(CNN)을 특징 임bedding 모듈로 사용한다.
• 프레임 특징에서 직접적으로 어텐션 가중치를 계산하는 자기어텐션 메커니즘을 도입하여 개별 프레임의 중요도를 평가한다.
• 각 프레임과 전역 비디오 수준의 앵커 특징 간의 유사도를 기반으로 어텐션 가중치를 계산하는 관계어텐션 메커니즘을 구현한다.
• 자기어텐션과 관계어텐션 가중치를 조합하여 최종 프레임 가중치를 산출하고, 이 가중치를 사용해 프레임 특징의 적응적이고 가중치가 부여된 집합을 수행한다.
• 학습된 어텐션 가중치를 적용하여 프레임 특징 벡터로부터 단일이고 분류에 유용한 비디오 수준의 표현을 구성한다.
• 분류를 위한 교차 엔트로피 손실을 사용해 전체 네트워크를 엔드 투 엔드로 학습시켜 특징 학습과 어텐션 가중치 부여를 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 수동으로 설계된 집계 규칙에 의존하지 않고도 어텐션 메커니즘이 얼굴 표정 비디오에서 가장 분류에 기여하는 프레임을 효과적으로 식별할 수 있는가?
• RQ2 자기어텐션과 관계어텐션을 함께 사용할 경우, 단일 어텐션 유형을 사용하는 것보다 비디오 수준의 표현 학습에 얼마나 향상되는가?
• RQ3 제안된 FAN 프레임워크는 기존의 고정된 프레임 집계 전략을 사용하는 CNN 기반 방법보다 표준 얼굴 표정 인식 벤치마크에서 슈퍼리어한 성능을 보일 수 있는가?
• RQ4 프레임워크의 성능가 K(어텐션 헤드 수)와 같은 초모수 설정, 예를 들어 백본 네트워크 아키텍처의 변화에 얼마나 강인한가?
• RQ5 FAN이 학습한 어텐션 가중치는 인간이 애니메이션한 감정 강도와 일치하는 방식으로 의미 있는 방식으로 시각화될 수 있는가?

주요 결과

• 제안된 FAN은 오직 시각적 특징만을 사용하여 CK+ 데이터셋에서 테스트 정확도 99.69%를 달성했으며, 베이스라인 및 최신 기술 수준의 방법을 초월한다.
• 자기어텐션 모듈에 관계어텐션을 추가하면 기준 성능 대비 2.36% 향상되었으며, 이는 프레임과 비디오 간의 관계를 모델링하는 데서 유의미한 가치가 있음을 보여준다.
• 오직 자기어텐션만을 사용한 FAN 모델도 CK+에서 99.39%의 정확도를 기록하여, 표준 프레임 평균화나 통계적 풀링 방법보다 뚜렷한 향상을 보였다.
• 시각화 결과는 최종 어텐션 가중치(자기어텐션 × 관계어텐션)가 명확하고 표현력 있는 얼굴 특징을 지닌 프레임에 더 높은 가중치를 할당함을 확인했으며, 인간의 인식과 일치한다.
• 초모수 변화에 대해 강인한 성능을 보였으며, K(어텐션 헤드 수)의 다양한 값에서도 성능이 안정적이었고, 최적의 성능는 K=3에서 달성되었다.
• AFEW8.0 데이터셋에서 FAN은 51.18%의 정확도를 기록했으며, 오디오나 복잡한 융합 전략을 사용하지 않았음에도 불구하고 최신 기술 수준의 단일 모델 성능과 동일한 결과를 보였다.