[논문 리뷰] 2D+3D Facial Expression Recognition via Discriminative Dynamic Range Enhancement and Multi-Scale Learning

Yang Jiao, Yi Niu외 2명|arXiv (Cornell University)|2020. 11. 16.

Face and Expression Recognition참고 문헌 32인용 수 7

한 줄 요약

이 논문은 정보이론적 동적 범위 강화와 다중 척도 학습을 통해 분류 가능한 3D 표정 특징을 향상시키는 새로운 2D+3D 표정 인식 방법을 제안한다. 깊이 왜곡 제약 조건 하에 분류 가능한 깊이 범위의 엔트로피를 최대화함으로써, 불완전한 점군으로 인한 오차 추정을 줄이는 고품질 기하 지도를 생성하며, BU-3DFE 및 Bosphorus 데이터셋에서 최신 기술 수준의 정확도와 지도 엔트로피를 달성한다.

ABSTRACT

In 2D+3D facial expression recognition (FER), existing methods generate multi-view geometry maps to enhance the depth feature representation. However, this may introduce false estimations due to local plane fitting from incomplete point clouds. In this paper, we propose a novel Map Generation technique from the viewpoint of information theory, to boost the slight 3D expression differences from strong personality variations. First, we examine the HDR depth data to extract the discriminative dynamic range $r_{dis}$, and maximize the entropy of $r_{dis}$ to a global optimum. Then, to prevent the large deformation caused by over-enhancement, we introduce a depth distortion constraint and reduce the complexity from $O(KN^2)$ to $O(KNτ)$. Furthermore, the constrained optimization is modeled as a $K$-edges maximum weight path problem in a directed acyclic graph, and we solve it efficiently via dynamic programming. Finally, we also design an efficient Facial Attention structure to automatically locate subtle discriminative facial parts for multi-scale learning, and train it with a proposed loss function $\mathcal{L}_{FA}$ without any facial landmarks. Experimental results on different datasets show that the proposed method is effective and outperforms the state-of-the-art 2D+3D FER methods in both FER accuracy and the output entropy of the generated maps.

연구 동기 및 목표

• 3D 표정 인식에서 강한 내성적 개인차에 의해 압도당하는 약한 클래스 간 표정 차이를 해결하기 위해.
• 기존 지도 생성 방법에서 불완전한 3D 점군의 국소 평면 피팅으로 인한 오류 기하 추정을 해결하기 위해.
• 엔트로피 최대화를 통해 고역동 범위(HDR) 깊이 데이터로부터 미세한 표정 특징을 향상시키기 위해.
• 과도한 강화를 방지하면서도 계산 효율성을 유지하는 깊이 왜곡 제약 조건을 개발하기 위해.
• 특징점이 없는 얼굴 주의 모듈을 통해 자동으로 분류 가능한 얼굴 영역을 식별함으로써 다중 척도 특징 학습을 가능하게 하기 위해.

제안 방법

• 이 방법은 먼저 HDR 깊이 데이터에서 분류 가능한 동적 범위 $ r_{dis} $ 를 선택하는 코arse-to-fine GEMax(Globally Optimal Entropy Maximization) 프레임워크를 도입한다.
• 제약 조건이 있는 엔트로피 최대화 문제를 방향성 비순환 그래프(DAG)에서의 $ K $-edge 최대 무게 경로 문제로 수식화하여, 동적 프로그래밍을 통해 복잡도를 $ O(KN^2) $ 에서 $ O(KN\tau) $ 로 감소시킨다.
• 톤 매핑 중 과도한 강화와 기하학적 왜곡을 방지하기 위해 깊이 왜곡 제약 조건 $ \tau $ 를 도입한다.
• 다양한 $ \tau $ 값에 대해 다수의 강화된 깊이 지도를 생성하여 다중 척도 입력 표현을 만든다.
• 특징점 앵커파일 없이도 분류 가능한 얼굴 부분을 자동으로 국소화할 수 있는 엔드 투 엔드 학습 가능한 얼굴 주의(FA) 모듈을 설계한다.
• 주요 FER 네트워크와 함께 FA 모듈을 동시에 학습시키기 위해 새로운 FA 손실 $ \mathcal{L}_{FA} $ 를 제안한다.

실험 결과

연구 질문

• RQ1 강한 개인차가 존재하는 상황에서 분류 가능한 깊이 범위의 엔트로피 최대화가 표정 인식 성능을 향상시킬 수 있는가?
• RQ2 깊이 왜곡 제약 조건이 불완전한 3D 스캔의 톤 매핑 중 과도한 강화와 기하학적 왜곡을 효과적으로 방지할 수 있는가?
• RQ3 특징점이 없는 주의 메커니즘이 미세한 분류 가능한 얼굴 영역을 자동으로 식별하고 다중 척도 특징 학습에 집중할 수 있는가?
• RQ4 기존 기하 지도 방법에 비해 GEMax 기반 지도 생성 방식이 인식 정확도와 지도의 정보량(엔트로피) 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 전면 이미지와 FA 모듈이 생성한 국소 얼굴 부분 특징을 함께 사용한 다중 척도 학습이 FER 성능을 향상시킬 수 있는가?

주요 결과

• 최적의 깊이 왜곡 제약 조건 $ \tau = 20 $ 하에서 BU-3DFE에서 85.81%의 정확도, Bosphorus에서 80.12%의 정확도를 달성하여 최신 기술 수준의 방법을 초월한다.
• 6cm의 깊이 범위에서 최고의 인식 정확도를 기록하여, 이 범위 내의 얼굴 특징가 가장 분류 가능한 표정 정보를 담고 있음을 시사한다.
• 생성된 지도의 엔트로피는 $ \tau $ 가 증가함에 따라 증가하며, BU-3DFE에서는 7.99, Bosphorus에서는 7.98에 도달하여 효과적인 정보 강화를 확인한다.
• 특징점이 없는 얼굴 주의 모듈은 BU-3DFE에서 76.39%, Bosphorus에서 68.17%의 정확도를 각각 달성하여, 특징점 없이도 분류 가능한 영역을 효과적으로 국소화함을 보여준다.
• 전체 이미지와 FA 모듈이 생성한 얼굴 부분 특징을 함께 사용한 다중 척도 학습은 BU-3DFE에서 89.72%, Bosphorus에서 83.63%의 성능을 기록하여 계층적 특징 표현의 이점을 입증한다.
• DAG에서의 동적 프로그래밍을 통해 복잡도를 $ O(KN^2) $ 에서 $ O(KN\tau) $ 로 감소시켜 효율적인 최적화를 가능하게 한다.