[논문 리뷰] A Novel Multi-Task Tensor Correlation Neural Network for Facial Attribute Prediction

Mingxing Duan, Kenli Li외 1명|arXiv (Cornell University)|2018. 04. 09.

Face recognition and analysis참고 문헌 25인용 수 9

한 줄 요약

이 논문은 다중 작업 상관관계 신경망(MTCN)을 제안하며, 낮은 수준의 특징을 작업 간에 공유하면서도 상위 수준의 작업별 특징 표현을 학습하고 교차 네트워크 특징 강화를 통해 얼굴 속성 예측 성능을 향상시킨다. 또한 깊이 있는 특징 상관관계를 모델링하기 위해 새로운 텐서 상관분석(NTCCA)을 도입하여 계층적 특징 상관관계를 활용함으로써 CelebA 및 LFWA 데이터셋에서 최신 기준 성능을 달성한다.

ABSTRACT

Face multi-attribute prediction benefits substantially from multi-task learning (MTL), which learns multiple face attributes simultaneously to achieve shared or mutually related representations of different attributes. The most widely used MTL convolutional neural network is heuristically or empirically designed by sharing all of the convolutional layers and splitting at the fully connected layers for task-specific losses. However, it is improper to view all low and mid-level features for different attributes as being the same, especially when these attributes are only loosely related. In this paper, we propose a novel multi-attribute tensor correlation neural network (MTCN) for face attribute prediction. The structure shares the information in low-level features (e.g., the first two convolutional layers) but splits that in high-level features (e.g., from the third convolutional layer to the fully connected layer). At the same time, during high-level feature extraction, each subnetwork (e.g., Age-Net, Gender-Net, ..., and Smile-Net) excavates closely related features from other networks to enhance its features. Then, we project the features of the C9 layers of the fine-tuned subnetworks into a highly correlated space by using a novel tensor correlation analysis algorithm (NTCCA). The final face attribute prediction is made based on the correlation matrix. Experimental results on benchmarks with multiple face attributes (CelebA and LFWA) show that the proposed approach has superior performance compared to state-of-the-art methods.

연구 동기 및 목표

• 기존의 다중 작업 학습 방법이 모든 계층에서 특징을 과도하게 공유함으로써 작업 간 차이점과 세부적인 속성 상관관계를 포착하지 못하는 한계를 해결하기 위해.
• 공유된 낮은 수준의 표현과 작업별 고수준 특징 상관관계를 모델링하여 얼굴 속성 예측 성능을 향상시키기 위해.
• 고수준 특징을 매우 높은 상관관계를 가지는 공간으로 투영함으로써 상호 이득을 증진시키는 새로운 텐서 상관분석(NTCCA) 방법을 개발하기 위해.
• 특히 데이터가 적은 환경에서의 성능 제한을 고려하여 제안된 MTCN 프레임워크의 유효성을 검증하기 위해.

제안 방법

• MTCN 아키텍처는 모든 속성 예측 헤드(예: Age-Net, Gender-Net) 간에 첫 두 합성곱층(낮은 수준의 특징)을 공유하지만, 세 번째 합성곱층부터는 분리하여 작업별 학습을 가능하게 한다.
• 각 하위네트워크(예: Smile-Net)는 고수준 특징 학습 과정에서 다른 하위네트워크로부터 관련 특징을 능동적으로 추출하고 통합함으로써 표현 품질을 향상시킨다.
• 미리 훈련된 하위네트워크의 C9층 특징을 공유된 고도로 상관관계가 있는 공간으로 투영하는 새로운 비선형 텐서 상관분석(NTCCA) 알고리즘을 도입하여 상세한 상속 간 상관관계를 모델링한다.
• NTCCA가 생성한 상관관계 행렬을 기반으로 최종 예측을 수행하며, 이는 속성 간 특징 상호작용을 일반화한다.
• 일반화 행렬은 데이터의 일부를 대상으로 훈련되어 상관관계 학습 과정의 안정성과 정확도를 향상시킨다.

Figure 1: The methods used for face attribute prediction.

실험 결과

연구 질문

• RQ1 모든 계층에서 파rameter를 공유하는 것과는 달리, 낮은 수준의 특징만 공유하고 고수준 특징은 분리하는 계층적 특징 공유 방식이 전반적인 얼굴 속성 예측 성능 향상에 기여하는가?
• RQ2 고수준 특징 수준에서 얼굴 속성 간의 작업별 상관관계를 효과적으로 모델링할 수 있는가?
• RQ3 전용 텐서 상관분석 방법(NTCCA)이 표준 다중 작업 학습 또는 특징 융합 방식보다 더 높은 성능을 내는가?
• RQ4 데이터가 적은 LFWA와 같은 소규모 데이터셋에서 제안된 MTCN의 성능은 어떠한가?

주요 결과

• CelebA 데이터셋에서 MTCN는 40개 속성 평균 정확도 92.77%를 기록하여 기존 최고 성능 기법인 MCNN+AUX(91.38%) 및 DMTL(91.67%)를 뛰어넘었다.
• MTCN에 NTCCA를 포함시킴으로써 NTCCA 없이 구현한 MTCN 대비 평균 정확도가 1.39% 향상되어 고수준 특징 상관관계 모델링의 효과를 입증했다.
• 더 작은 LFWA 데이터셋에서도 MTCN는 강력한 성능 유지를 보였으며, 19개 속성은 90% 이상, 나머지 19개는 80% 이상의 정확도를 기록하여 데이터 부족 상황에서도 강인함을 입증했다.
• 'Bangs'와 'Blurry'와 같이 일반적으로 예측이 어려운 속성들 역시 성능 향상을 보였으며, 이는 상속 간 상관관계를 효과적으로 활용할 수 있음을 시사한다.
• 모델의 성능는 다양한 속성 유형 간에 안정적이었으며, 카테고리 I 속성(예: 'Male', 'Attractive')은 90% 이상의 정확도를 달성했고, 카테고리 II 속성(예: 'Bald', 'Mustache')은 여전히 도전 과제였지만 새로운 프레임워크로 개선되었다.

Figure 2: Full schematic diagram of our network architecture. (C1, C3, …, C9) denote the corresponding convolutional layers, (S2, S4, S6) represent pooling and normalization operations, N8 signifies only the normalization operation, and (F10 and F11) express the fully connected layers. The structure