[논문 리뷰] Inferring Dynamic Representations of Facial Actions from a Still Image

Siyang Song, Enrique Sánchez외 3명|arXiv (Cornell University)|2019. 04. 04.

Face recognition and analysis참고 문헌 56인용 수 4

한 줄 요약

이 논문은 정적 얼굴 이미지에서 동적 표현(DRs)을 추론하여 단기 시간적 동역학을 모델링하는 새로운 이미지 간 번역 프레임워크를 제안한다. 이는 동영상 입력 없이도 행동 단위 강도 추정 및 차원적 정서 추정에서 최신 기술 수준(SOTA) 성능을 달성할 수 있게 한다. 이 방법은 네트워크가 인접 프레임을 시간적 근접도에 따라 정렬하도록 학습시키기 위해 자기지도적 순위 손실(self-supervised rank loss)을 사용하며, 중심 이미지 주변의 이중 방향 운동 흐름을 포착한다.

ABSTRACT

Facial actions are spatio-temporal signals by nature, and therefore their modeling is crucially dependent on the availability of temporal information. In this paper, we focus on inferring such temporal dynamics of facial actions when no explicit temporal information is available, i.e. from still images. We present a novel approach to capture multiple scales of such temporal dynamics, with an application to facial Action Unit (AU) intensity estimation and dimensional affect estimation. In particular, 1) we propose a framework that infers a dynamic representation (DR) from a still image, which captures the bi-directional flow of time within a short time-window centered at the input image; 2) we show that we can train our method without the need of explicitly generating target representations, allowing the network to represent dynamics more broadly; and 3) we propose to apply a multiple temporal scale approach that infers DRs for different window lengths (MDR) from a still image. We empirically validate the value of our approach on the task of frame ranking, and show how our proposed MDR attains state of the art results on BP4D for AU intensity estimation and on SEMAINE for dimensional affect estimation, using only still images at test time.

연구 동기 및 목표

• 정적 이미지에서 명시적인 동영상 또는 시간적 데이터 없이도 얼굴 행동의 시간적 동역학을 모델링하기 위해.
• 사전에 정의된 목표 표현이 필요 없는 동적 표현 학습을 위한 자기지도적 학습 접근법을 개발하기 위해.
• 단일 이미지에서 추론된 동적 표현을 사용해 행동 단위(AU) 강도 추정 및 차원적 정서 추정을 향상시키기 위해.
• 다중 척도 동적 표현(MDR)이 단기 운동 패턴을 포착하여 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• 단일 정적 이미지에서 동적 표현(DR)을 생성하는 이미지 간 번역 네트워크를 제안하며, 중심 프레임 주변의 운동을 요약하는 3채널 공간 커널로 설계된다.
• 인접 프레임을 중심 이미지로부터의 거리에 따라 시간 순서에 따라 정렬하도록 학습시키기 위해 순위 손실 함수를 사용하며, 이는 이중 방향 시간 흐름 모델링을 가능하게 한다.
• 다양한 시간 창 길이에 대해 DR을 추론하는 다중 척도 동적 표현(MDR) 접근법을 도입하여 다양한 시간 척도에서의 동역학을 포착한다.
• 사전에 정의된 목표 표현이 없는 자기지도적 학습 프레임워크를 사용하여 네트워크가 명시적인 목표 표현 없이도 시간 순서를 정렬하도록 학습함으로써, 새로운 이미지에 대한 일반화 능력을 향상시킨다.
• 원본 이미지와 추론된 DR을 결합하여 특징 학습을 향상시키며, 외관 및 동적 신호가 상호 보완적임을 입증한다.
• DR을 CNN 기반 네트워크의 입력으로 사용하여 AU 강도 및 정서 추정을 수행하며, 단일 이미지 기반 기준 모델보다 성능 향상을 보였다.

실험 결과

연구 질문

• RQ1 단일 정적 이미지에서 효과적으로 얼굴 행동 역학을 모델링하기 위해 동적 표현을 추론할 수 있는가?
• RQ2 순위 손실 함수를 사용한 자기지도적 학습이 사전에 정의된 목표 표현에 의존하는 방법보다 더 나은 일반화 성능을 보이는가?
• RQ3 다중 척도 동적 표현(MDR)이 정적 이미지만을 사용하는 경우 AU 강도 및 차원적 정서 추정 작업에서 성능 향상에 기여하는가?
• RQ4 추론된 DR이 새로운 인접 프레임을 시간 순서에 따라 정렬하는 데 얼마나 효과적인가?
• RQ5 외관 정보만을 사용하는 특징에 비해 동적 표현이 정적 이미지 기반 얼굴 행동 분석에 얼마나 기여하는가?

주요 결과

• 제안된 MDR 접근법은 BP4D 데이터셋에서 행동 단위 강도 추정에서 최신 기술 수준 성능를 달성하였으며, 평균 ICC가 0.72로 이전에 동영상 입력을 사용한 방법들을 초월하였다.
• SEMAINE 데이터셋에서 MDR 기반 접근법은 각각 각성도에 대해 피어슨 상관계수(PCC) 0.335, 기분에 대해 0.316를 기록하여, 정적 이미지만을 사용하는 모든 비교 방법보다 뛰어난 성능를 보였다.
• 사전에 정의된 목표 표현을 사용해 학습한 모델에 비해 자기지도적 순위 손실 학습 체계가 더 나은 일반화 성능를 보였으며, 이는 새로운 이미지에서의 성능 향상으로 확인되었다.
• 원본 이미지와 MDR 표현을 결합한 결과는 이미지 또는 DR을 별도로 사용한 경우보다 더 우수한 성능를 보였으며, 외관 및 동적 신호가 상호 보완적임을 확인하였다.
• 추론된 DR은 인접 프레임을 시간 순서에 따라 효과적으로 정렬하였으며, 이는 단기 운동 동역학을 포착할 수 있음을 검증하였다.
• SDR(단일 동적 표현) 접근법은 단일 이미지 성능과 유사한 결과를 보였지만, MDR는 성능 향상이著명하여 다중 척도 시간 모델링의 가치를 입증하였다.