[논문 리뷰] Multi-Task Convolutional Neural Network for Face Recognition.

Xi Yin, Xiaoming Liu|arXiv (Cornell University)|2017. 02. 15.

Face recognition and analysis참고 문헌 34인용 수 13

한 줄 요약

이 논문은 정체성 인식과 자세, 조명, 표정 추정을 보조 과제로 함께 학습하는 다중 과제 컨볼루션 네트워크를 제안한다. 동적 손실 가중치와 자세 지향 특징 학습을 통해 일반화 능력을 향상시키고, LFW, CFP, IJB-A에서 최신 기술 수준의 성능을 달성한다. 또한 이는 전체 Multi-PIE 데이터셋을 훈련에 사용한 최초의 논문이다.

ABSTRACT

This paper explores multi-task learning (MTL) for face recognition. We answer the questions of how and why MTL can improve the face recognition performance. First, we propose a multi-task Convolutional Neural Network (CNN) for face recognition where identity recognition is the main task and pose, illumination, and expression estimations are the side tasks. Second, we develop a dynamic-weighting scheme to automatically assign the loss weight to each side task. Third, we propose a pose-directed multi-task CNN by grouping different poses to learn pose-specific identity features, simultaneously across all poses. We observe that the side tasks serve as regularizations to disentangle the variations from the learnt identity features. Extensive experiments on the entire Multi-PIE dataset demonstrate the effectiveness of the proposed approach. To the best of our knowledge, this is the first work using all data in Multi-PIE for face recognition. Our approach is also applicable to in-the-wild datasets for pose-invariant face recognition and we achieve comparable or better performance than state of the art on LFW, CFP, and IJB-A.

연구 동기 및 목표

• 다중 과제 학습이 보조 과제를 활용해 얼굴 인식 성능을 향상시키는 방식을 탐구한다.
• 자세, 조명, 표정의 변동성과 도메인 이탈 문제를 해결한다.
• 훈련 과정에 따라 각 보조 과제의 손실 기여도를 자동 조정하는 동적 손실 가중치 기법을 개발한다.
• 모든 자세에서 자세별로 특화된 정체성 특징을 학습하는 자세 지향 아키텍처를 설계한다.
• 통제된 환경(Multi-PIE)과 실외 환경(LFW, CFP, IJB-A) 데이터셋 모두에서 제안된 방법의 유효성을 입증한다.

제안 방법

• 정체성 인식을 주 과제로, 자세, 조명, 표정 추정을 보조 과제로 설정한 다중 과제 컨볼루션 네트워크를 설계한다.
• 훈련 진행 상황에 따라 각 보조 과제의 손실 기여도를 자동 조정하는 동적 가중치 기법을 도입한다.
• 자세 지향 다중 과제 컨볼루션 네트워크는 서로 다른 자세를 그룹화하여 자세별 정체성 표현을 학습함으로써 자세 변화에 대한 강건성을 향상시킨다.
• 보조 과제는 자세, 조명, 표정의 변동성에서 정체성 관련 특징을 분리하는 정규화 기능을 수행한다.
• 가용한 데이터를 최대한 활용하기 위해 전체 Multi-PIE 데이터셋에서 엔드 투 엔드로 모델을 훈련한다.
• LFW, CFP, IJB-A 벤치마크에서 미세조정을 통해 실외 환경 데이터셋으로의 이식성이 확보된다.

실험 결과

연구 질문

• RQ1 다중 과제 학습이 보조 과제를 활용해 얼굴 인식 성능를 향상시키는 방식은 무엇인가?
• RQ2 얼굴 인식을 위한 다중 과제 학습 환경에서 다수의 손실 함수를 최적의 방식으로 균형 조절하는 방법은 무엇인가?
• RQ3 자세별 특징 학습이 다양한 자세에서 정체성 표현의 강건성을 향상시킬 수 있는가?
• RQ4 자세 및 조명 추정과 같은 보조 과제가 정체성 특징의 분리에 정규화 기능을 얼마나 효과적으로 수행하는가?
• RQ5 제안된 방법은 실외 환경 데이터셋으로 일반화되어 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• 제안된 다중 과제 컨볼루션 네트워크는 LFW, CFP, IJB-A 벤치마크에서 최신 기술 수준의 성능을 달성하며, 기존 방법보다 뛰어나거나 동등한 성능을 기록한다.
• Multi-PIE 데이터셋의 전체 데이터를 훈련에 사용함으로써 기존 접근 방식에 비해 일반화 능력과 강건성이 향상됨을 확인했다.
• 동적 손실 가중치 기법이 보조 과제의 기여도를 효과적으로 균형 조절하여 훈련 안정성과 성능 향상을 이룬다.
• 자세 지향 특징 학습은 다양한 자세에서 정체성 불변 표현을 학습하는 데 기여한다.
• 자세 및 조명 추정과 같은 보조 과제는 과적합을 줄이고 특징의 분리도 향상시키는 효과적인 정규화 기능을 수행한다.
• 모델는 실외 환경 설정으로의 이식성이 뛰어나 제안된 방법의 실용적 적용 가능성을 확인한다.