[논문 리뷰] Model Distillation with Knowledge Transfer from Face Classification to Alignment and Verification

Chong Wang, Xipeng Lan외 1명|arXiv (Cornell University)|2017. 09. 09.

Face recognition and analysis참고 문헌 19인용 수 17

한 줄 요약

이 논문은 얼굴 분류에서 얼굴 정렬 및 인증 작업으로의 지식 정련을 제안하며, 정련된 교사 네트워크 지식을 사용해 더 작은 학생 네트워크를 초기화하고 이입합니다. 적절한 초기화 전략과 정련 타깃—특히 소프트 예측과 병합 손실 함수—를 선택함으로써 학생 모델은 얼굴 정렬 및 인증 작업에서 교사 모델을 능가하거나 경쟁할 수 있는 성능을 달성합니다. 특히 MS-Celeb-1M 및 CASIA-WebFace 데이터셋에서 고압축 비율 상황에서도 성능이 뛰어납니다.

ABSTRACT

Knowledge distillation is a potential solution for model compression. The idea is to make a small student network imitate the target of a large teacher network, then the student network can be competitive to the teacher one. Most previous studies focus on model distillation in the classification task, where they propose different architects and initializations for the student network. However, only the classification task is not enough, and other related tasks such as regression and retrieval are barely considered. To solve the problem, in this paper, we take face recognition as a breaking point and propose model distillation with knowledge transfer from face classification to alignment and verification. By selecting appropriate initializations and targets in the knowledge transfer, the distillation can be easier in non-classification tasks. Experiments on the CelebA and CASIA-WebFace datasets demonstrate that the student network can be competitive to the teacher one in alignment and verification, and even surpasses the teacher network under specific compression rates. In addition, to achieve stronger knowledge transfer, we also use a common initialization trick to improve the distillation performance of classification. Evaluations on the CASIA-Webface and large-scale MS-Celeb-1M datasets show the effectiveness of this simple trick.

연구 동기 및 목표

• 얼굴 인식 분야에서 회귀 및 검색 작업인 얼굴 정렬 및 인증 작업으로 지식 정련을 분류 작업을 초월해 확장한다.
• 사전 훈련된 얼굴 분류 모델에서 유도된 정련 지식이 분류가 아닌 작업에서 학생 네트워크 성능 향상에 효과적으로 전이될 수 있는지 조사한다.
• 정렬 및 인증 작업에서 정련 성능을 향상시키는 데 기여하는 최적의 초기화 전략과 정련 타깃(예: 소프트 예측, 은닉 특징)을 규명한다.
• 간단한 초기화 기법을 사용해 분류 정련 성능을 향상시키고, 이를 후속 작업으로의 지식 전이에 더욱 강력하게 만든다.
• MS-Celeb-1M 및 CASIA-WebFace와 같은 대규모 데이터셋에서 방법의 일반화 및 확장성을 평가한다.

제안 방법

• 교사 네트워크의 특징을 초기화로 사용하여 얼굴 정렬 및 인증 작업에서 정련된 얼굴 분류 교사 네트워크에서 학생 네트워크로 지식을 이전한다.
• 특히 정렬 및 인증 작업에서 교사 네트워크의 소프트 예측(로짓)을 정련 타깃으로 사용한다.
• 정렬 및 인증 작업에서 트리플릿 손실과 소프트맥스 교차엔트로피 손실을 병합한 손실 함수를 적용하여 훈련 안정성과 성능 향상을 도모한다.
• 모든 작업에서 정착된 초기화 기법—즉, ImageNet 사전 훈련 또는 정련된 분류 모델을 사용—을 강력한 시작점으로 활용한다.
• 과제 특화 타깃(예: 정렬 작업에서의 키포인트 위치)과 분류에서 유도된 지식을 모두 사용해 학생 네트워크를 지식 정련으로 훈련시킨다.
• 정련과 과제 특화 감독 간의 균형을 맞추기 위해 손실 함수의 하이퍼파ram터 α와 β를 최적화하며, α=1, β=0(소프트 예측)일 때 최고의 성능을 기록했다.

실험 결과

연구 질문

• RQ1 얼굴 분류에서 유도된 지식 정련이 분류가 아닌 작업인 얼굴 정렬 및 인증에서 성능 향상에 효과적으로 기여할 수 있는가?
• RQ2 예: 사전 훈련, 정련 기반 초기화 전략 중 어느 것이 얼굴 정렬 및 인증 작업으로의 성능 전이에 가장 우수한 성능을 낳는가?
• RQ3 정렬 및 인증 작업에서 성능을 높이는 데 기여하는 정련 타깃—소프트 예측, 로짓, 또는 은닉 특징—중 어떤 것이 가장 우수한가?
• RQ4 소프트 레이블 정련과 과제 특화 손실(예: 트리플릿 손실)을 병합하면 인증 정확도에 어떤 영향을 미치는가?
• RQ5 간단한 초기화 기법이 분류 작업에서 정련 성능을 향상시키며, 이를 통해 후속 작업으로의 전이 성능이 더욱 향상되는가?

주요 결과

• 압축률 1/2(ResNet-50/2)에서 얼굴 분류에서 유도된 지식 전이를 통해 훈련된 학생 네트워크는 교사 네트워크를 초월해 얼굴 인증에서 79.96%의 상위-1 정확도를 달성했으며, 교사의 74.16%보다 높았다.
• CASIA-WebFace 데이터셋에서 소프트 예측 타깃(α=1, β=0)과 병합 손실(소프트맥스 + 트리플릿)을 사용한 정련은 특히 작은 학생 네트워크에서 인증 정확도를 크게 향상시켰다.
• 정련 또는 사전 훈련된 분류 모델을 사용하는 초기화 기법은 분류 작업에서 정련 성능을 향상시켰으며, 이를 통해 후속 작업인 정렬 및 인증 결과도 향상되었다.
• 얼굴 정렬 작업에서는 분류에서 유도된 지식 전이가 학생 성능 향상에 기여했으며, 이는 정련 기법이 회귀 작업에서도 효과적임을 보여준다.
• 인증 작업에서는 단순히 정련만(α=0, β=0)을 사용한 기준 성능은 교사 예측의 낮은 신뢰도로 인해 열악했고, 소프트맥스 손실을 추가함으로써 성능이 복구되었으며, 결과적으로 학생이 교사의 성능을 초월할 수 있었다.
• MS-Celeb-1M에서의 실험을 통해 이 방법의 대규모 데이터에 대한 확장성과 효과성이 확인되었으며, 다양한 압축률에서 일관된 성능 향상이 관찰되었다.