[논문 리뷰] Dynamic Multi-Task Learning for Face Recognition with Facial Expression

Zuheng Ming, Junshi Xia외 3명|arXiv (Cornell University)|2019. 11. 08.

Face recognition and analysis참고 문헌 41인용 수 23

한 줄 요약

이 논문은 얼굴 인식과 표정 인식을 위한 동적 다중작업 학습 프레임워크를 제안하며, 학습 중에 작업 가중치를 자동으로 조정하기 위해 소프트맥스 레이어를 사용하여 초모수를 필요로 하지 않는다. 이 방법은 두 작업 모두에서 성능을 향상시켜 CK+에서 얼굴 검증 정확도 99.00%와 표정 인식 정확도 99.50%를 달성하며, 정적 및 단순 동적 기준보다 뛰어나다.

ABSTRACT

Benefiting from the joint learning of the multiple tasks in the deep multi-task networks, many applications have shown the promising performance comparing to single-task learning. However, the performance of multi-task learning framework is highly dependant on the relative weights of the tasks. How to assign the weight of each task is a critical issue in the multi-task learning. Instead of tuning the weights manually which is exhausted and time-consuming, in this paper we propose an approach which can dynamically adapt the weights of the tasks according to the difficulty for training the task. Specifically, the proposed method does not introduce the hyperparameters and the simple structure allows the other multi-task deep learning networks can easily realize or reproduce this method. We demonstrate our approach for face recognition with facial expression and facial expression recognition from a single input image based on a deep multi-task learning Conventional Neural Networks (CNNs). Both the theoretical analysis and the experimental results demonstrate the effectiveness of the proposed dynamic multi-task learning method. This multi-task learning with dynamic weights also boosts of the performance on the different tasks comparing to the state-of-art methods with single-task learning.

연구 동기 및 목표

• 다중작업 딥러닝에서 수작업으로 조정하는 작업 가중치의 과제를 해결하기 위해 시간이 오래 걸리고 최적화되지 않는 문제를 해결한다.
• 관련된 작업 간의 특징을 공동으로 학습시켜 얼굴 표정이 있는 얼굴 인식 성능을 향상시킨다.
• 고정되거나 수작업으로 설정된 작업 가중치의 한계를 극복하여 학습 중 작업의 난이도에 따라 적응하지 못하는 문제를 해결한다.
• 추가적인 초모수를 도입하지 않고도 효율적이고 효과적인 다중작업 학습을 가능하게 한다.
• 공유된 특징과 작업별 특징을 사용하여 얼굴 인식과 표정 인식에 이 프레임워크를 적용함으로써 일반화 능력을 입증한다.

제안 방법

• 학습 난이도에 따라 작업 가중치를 동적으로 생성하기 위해 공유된 특징 레이어의 끝에 소프트맥스 레이어를 도입한다.
• 소프트맥스 레이어의 출력을 각 작업에 대한 적응형 가중치로 사용하여 네트워크가 더 어려운 작업에 더 집중할 수 있도록 한다.
• 기존의 불확실성 계수나 분석적 해법이 필요한 방법과는 달리, 초모수를 피하기 위해 작업 가중치를 네트워크 활성화로부터 직접 유도한다.
• 각 작업의 가중치를 동적 소프트맥스 출력에 따라 조정하는 통합 손실 함수를 사용하여 다중작업 네트워크를 엔드 투 엔드로 훈련한다.
• CNN과 같은 기존의 다중작업 딥러닝 아키텍처에 쉽게 통합할 수 있도록 경량화된 방법을 확보한다.
• 단일 입력 이미지에서 얼굴 인식과 표정 인식을 동시에 훈련하기 위해 프레임워크를 적용한다.

실험 결과

연구 질문

• RQ1 다중작업 학습에서 작업 가중치를 학습 중에 어떻게 동적으로 조정할 수 있을까?
• RQ2 초모수 없는 방법이 정적 또는 수작업으로 조정된 가중치 전략보다 다중작업 얼굴 및 표정 인식에서 성능을 뛰어나게 할 수 있는가?
• RQ3 동적 가중치 조정은 고정 또는 단순 동적 접근 방식보다 더 어려운 작업에서 더 나은 일반화와 더 빠른 수렴을 이끌어낼 수 있는가?
• RQ4 얼굴 인식과 표정 인식을 공동으로 학습시키면 두 작업의 성능 향상에 어느 정도 기여하는가?
• RQ5 제안된 방법은 다양한 표정 변화와 이미지 품질을 가진 실생활 데이터셋에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 동적 다중작업 학습 방법은 CK+ 데이터셋에서 얼굴 검증 정확도 99.00%를 달성하여 정적 다중작업 학습(98.50%)과 정밀 조정된 단일작업 모델(98.50%)을 초월한다.
• 표정 인식의 경우, 방법은 CK+에서 99.50%의 정확도를 달성하여 이어지는 최고의 방법(정적 MTL을 사용한 99.11%)을 능가한다.
• OuluCASIA 데이터셋에서는 표정 인식 정확도 89.60%를 기록하여 최고의 기준 모델과 동일한 성능을 내지만, 더 뛰어난 강인성과 적응성으로 개선된 성능을 보였다.
• 이 방법은 얼굴 표정이 있는 얼굴 인식에서 성능을 크게 향상시키며, 단일작업 모델은 LFW에서 약 99%의 정확도를 기록하지만 CK+에서는 약 92%로 떨어지지만, 동적 MTL을 사용하면 99.00%로 복구된다.
• 동적 가중치 조정 메커니즘은 더 어려운 작업에 더 집중할 수 있도록 하여, 단순 동적 및 정적 기준 모델 대비 뛰어난 성능을 입증한다.
• 이 방법은 다양한 데이터셋과 작업에서 효과적이며, 추가적인 초모수 없이도 얼굴 인식과 표정 인식 양쪽에서 일관된 성능 향상을 보였다.