[논문 리뷰] Towards a General Model of Knowledge for Facial Analysis by Multi-Source Transfer Learning

Valentin Vielzeuf, Alexis Lechervy외 2명|arXiv (Cornell University)|2019. 11. 08.

Face recognition and analysis참고 문헌 67인용 수 5

한 줄 요약

이 논문은 얼굴 분석을 위한 이중 단계 다중 소스 전이 학습 프레임워크를 제안한다. 먼저 공유 오토에인코더를 사용해 다수의 사전 훈련된 모델을 공통 임베딩으로 융합한 후, 이 지식을 경량 학생 모델로 희석시킨다. 결과적으로 이 모델은 오직 200만 개의 파라미터로 15개의 다양한 얼굴 분석 과제에서 최신 기술 수준의 성능을 달성한다—교수 모델보다 75배 적은 파라미터를 사용하며, 일반화 능력과 실세계 적용 가능성에서 뛰어난 성능을 보여준다.

ABSTRACT

This paper proposes a step toward obtaining general models of knowledge for facial analysis, by addressing the question of multi-source transfer learning. More precisely, the proposed approach consists in two successive training steps: the first one consists in applying a combination operator to define a common embedding for the multiple sources materialized by different existing trained models. The proposed operator relies on an auto-encoder, trained on a large dataset, efficient both in terms of compression ratio and transfer learning performance. In a second step we exploit a distillation approach to obtain a lightweight student model mimicking the collection of the fused existing models. This model outperforms its teacher on novel tasks, achieving results on par with state-of-the-art methods on 15 facial analysis tasks (and domains), at an affordable training cost. Moreover, this student has 75 times less parameters than the original teacher and can be applied to a variety of novel face-related tasks.

연구 동기 및 목표

• 여러 사전 훈련된 얼굴 분석 모델의 지식을 하나의 일반 목적 모델로 통합하는 데 도전한다.
• 다중 소스 지식 융합을 위한 효율적인 방법을 개발하여 상호 보완 정보를 유지하면서도 중복을 줄인다.
• 다양한 얼굴 분석 과제에서 교수가 되는 모델보다 더 나은 일반화 능력을 보이는 경량의 구현 가능한 학생 모델을 만든다.
• 다양한 도메인과 모odalities를 포함한 15개의 다양한 얼굴 분석 과제에서 접근법을 검증한다.

제안 방법

• 공유 오토에인코더를 비지도 대규모 데이터셋에서 훈련하여, 다수의 소스 모델 임베딩을 통합된 저차원 공통 표현으로 투영한다.
• 융합 과정은 오토에인코더의 버블넥 레이어를 활용해 다수의 소스 표현에서 압축되고 정보가 풍부한 임베딩을 생성하는 학습 가능한 조합 연산자를 사용한다.
• 지식 희석을 적용해 융합된 앙상블 교수 모델의 지식을 경량 학생 컨볼루션 신경망으로 이전한다.
• 학생 모델은 목표 과제에서 융합된 교수 모델의 출력을 모방하도록 훈련되어, 최소한의 파라미터로도 높은 성능을 달성한다.
• 압축과 희석을 두 개의 별도 단계로 분리하여 훈련 안정성과 성능을 향상시킨다.
• 이 접근법은 얼굴 분석 과제 15개에 걸쳐 추론 실험을 통해 평가되었으며, 인식, 속성 예측, 감정 분석 등 포함된다.

실험 결과

연구 질문

• RQ1 여러 사전 훈련된 얼굴 분석 모델에서 단일 통합 임베딩을 학습시킬 수 있는가? 이는 다양한 과제에서 일반화 능력을 향상시키는가?
• RQ2 공유 오토에인코더를 통해 다수의 소스 모델을 융합하는 방법이, 단순 연결 또는 선택적 모델 선택 기반 방법보다 다중 소스 전이 학습에서 성능이 뛰어나게 되는가?
• RQ3 융합된 다중 소스 교수 모델에서 지식 희석을 통해 도출된 경량 학생 모델이 새로운 과제에서 교수 모델을 초월할 수 있는가?
• RQ4 융합된 임베딩의 차원 수가 재구성 정확도와 후행 전이 성능에 미치는 영향은 어떠한가?
• RQ5 많은 수의 소스 및 목표 과제로 확장할 경우, 훈련 효율성과 모델 성능 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 모델은 얼굴 인식, 속성 예측, 감정 분석 등 15개의 다양한 얼굴 분석 과제에서 최신 기술 수준의 성능을 달성한다.
• 희석된 학생 모델는 오직 200만 개의 파라미터를 가지며, 원본 교수 모델보다 75배 적은 파라미터를 사용하지만 대부분의 목표 과제에서 교수 모델을 능가한다.
• 공유 오토에인코더를 사용한 융합 방법($\mathcal{G}$)은 단순 연결 및 모델 선택 기반 베이스라인에 비해 뚜렷이 뛰어난 성능을 보이며, 특히 자원이 제한된 목표 도메인에서 두각을 나타낸다.
• 추론 실험은 소스 임베딩의 차원 수를 줄이는 것이 일반화 능력을 향상시키며, 최적의 임베딩 크기는 과제에 따라 다름을 확인한다.
• 이중 단계 훈련 과정(압축 → 희석)은 엔드 투 엔드 미세조정보다 더 뛰어난 성능을 내며, 브루트 포스 모델 조합 대비 총 훈련 시간이 4배 감소한다.
• 이 방법은 효율적인 전이 학습을 가능하게 한다: 비지도 데이터셋에서의 훈련은 약 70시간이 소요되지만, 이후 전이 단계는 완전히 새로 훈련하는 것보다 훨씬 빠르다.