[논문 리뷰] EXPERTNet Exigent Features Preservative Network for Facial Expression Recognition

Monu Verma, Jaspreet Kaur Bhui외 2명|arXiv (Cornell University)|2019. 04. 14.

Face and Expression Recognition인용 수 6

한 줄 요약

이 논문은 얼굴 표정 인식을 위한 새로운 컨볼루션 신경망인 EXPERTNET을 제안한다. 이 네트워크는 공간적이고 계층적인 특징 중 가장 관련성이 높은 특징만 선택적으로 유지하는 Exigent Feature (ExFeat) 블록을 사용한다. 다중 척도 필터(1×1, 3×3, 5×5, 7×7)를 선택적 레이어에 적용하여 특징 학습 능력을 향상시키면서도 공간적 구조를 유지함으로써, CK+, MMI, DISFA, GEMEP-FERA 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Facial expressions have essential cues to infer the humans state of mind, that conveys adequate information to understand individuals actual feelings. Thus, automatic facial expression recognition is an interesting and crucial task to interpret the humans cognitive state through the machine. In this paper, we proposed an Exigent Features Preservative Network (EXPERTNet), to describe the features of the facial expressions. The EXPERTNet extracts only pertinent features and neglect others by using exigent feature (ExFeat) block, mainly comprises of elective layer. Specifically, elective layer selects the desired edge variation features from the previous layer outcomes, which are generated by applying different sized filters as 1 x 1, 3 x 3, 5 x 5 and 7 x 7. Different sized filters aid to elicits both micro and high-level features that enhance the learnability of neurons. ExFeat block preserves the spatial structural information of the facial expression, which allows to discriminate between different classes of facial expressions. Visual representation of the proposed method over different facial expressions shows the learning capability of the neurons of different layers. Experimental and comparative analysis results over four comprehensive datasets CK+, MMI DISFA and GEMEP-FERA, ensures the better performance of the proposed network as compared to existing networks.

연구 동기 및 목표

• 공간적이고 계층적인 특징 중 가장 관련성이 높은 특징만 유지함으로써 얼굴 표정 인식을 향상시키기 위해.
• 기존 CNN에서 불필요한 특징 노이즈 문제를 해결하기 위해 선택적 특징 추출 메커니즘을 도입하기 위해.
• 다중 척도 컨볼루션 필터를 조합함으로써 모델의 학습 능력과 구분 능력을 향상시키기 위해.
• 특징 학습 과정에서 얼굴 표정의 공간적 구조적 통합을 유지하기 위해.
• 다양하고 실제 세계의 얼굴 표정 데이터셋에서 뛰어난 성능을 달성하기 위해.

제안 방법

• ExFeat 블록은 병렬적으로 다양한 필터 크기(1×1, 3×3, 5×5, 7×7)에서 얻은 에지 변동 특징을 동적으로 선택하는 선택적 레이어를 사용한다.
• 각 필터 크기는 서로 다른 수준의 특징 추상화를 캡처한다—작은 필터는 미세 특징을, 큰 필터는 고수준 패턴을 포착한다.
• 선택된 특징는 유지되고 통합되어 공간적 구조를 유지하고 분류 능력을 향상시킨다.
• 네트워크 아키텍처는 얼굴 표정 인식에 최적화된 깊은 CNN 프레임워크에 ExFeat 블록을 통합한다.
• 특징 선택은 관련성 기반으로 수행되어 노이즈를 감소시키고 모델 효율성을 향상시킨다.
• 모델은 표준 최적화 기법을 사용하여 여러 기준 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 선택적 특징 추출 메커니즘이 관련 특징에 집중함으로써 얼굴 표정 인식 정확도를 향상시킬 수 있는가?
• RQ2 다중 척도 필터는 미세한 구조와 고수준 패턴을 모두 포착하는 데 어떻게 기여하는가?
• RQ3 공간적 구조를 유지함으로써 분류 성능 향상에 어느 정도 기여하는가?
• RQ4 표준 컨볼루션 레이어와 비교할 때 제안된 ExFeat 블록은 특징 관련성과 모델 성능 측면에서 어떻게 다른가?
• RQ5 표현 강도와 이미지 품질이 다양하게 변하는 다양한 데이터셋에서 네트워크의 일반화 능력은 얼마나 우수한가?

주요 결과

• EXPERTNET은 CK+ 데이터셋에서 최신 기술 수준의 성능을 달성하여 이전 방법들을 능가하는 표정 인식 정확도를 확보하였다.
• MMI 데이터셋에서 모델는 표면적 변화에 대한 뛰어난 일반화 능력과 강건성을 보였다.
• DISFA 데이터셋에서 네트워크는 높은 정확도를 기록하여 자연스럽고 미세한 표정에 대한 강력한 성능을 입증하였다.
• GEMEP-FERA 데이터셋에서 EXPERTNET은 저해상도와 가림 현상과 같은 과제에도 불구하고 높은 성능를 유지하였다.
• 제거 분석 결과, 선택적 레이어와 다중 척도 필터가 특징 관련성과 모델 정확도 향상에 크게 기여하는 것으로 확인되었다.
• 시각화 결과, 깊은 층의 뉴런들이 표정 클래스에 특화된 분류 능력을 가진 특징을 학습하고 있음을 확인하여 모델의 학습 능력을 검증하였다.