[논문 리뷰] Teaching Where to Look: Attention Similarity Knowledge Distillation for Low Resolution Face Recognition

Sungho Shin, Joosoon Lee외 3명|arXiv (Cornell University)|2022. 09. 29.

Face recognition and analysis인용 수 4

한 줄 요약

이 논문은 주로 고해상도(HR) 교사 네트워크에서 저해상도(LR) 학생 네트워크로 주의 맵을 코사인 유사도를 통해 전달하는 주의 유사도 지식 정복(A-SKD)을 제안한다. 이를 통해 저해상도 얼굴 인식 성능을 향상시킨다. 이 방법은 다양한 저해상도 벤치마크에서 최신 기술을 뛰어넘는 성능 향상을 보이며, 고해상도 데이터에서 학습한 구분력 있는 얼굴 영역에 주의를 기울이도록 학생 네트워크를 이끌어낸다.

ABSTRACT

Deep learning has achieved outstanding performance for face recognition benchmarks, but performance reduces significantly for low resolution (LR) images. We propose an attention similarity knowledge distillation approach, which transfers attention maps obtained from a high resolution (HR) network as a teacher into an LR network as a student to boost LR recognition performance. Inspired by humans being able to approximate an object's region from an LR image based on prior knowledge obtained from HR images, we designed the knowledge distillation loss using the cosine similarity to make the student network's attention resemble the teacher network's attention. Experiments on various LR face related benchmarks confirmed the proposed method generally improved recognition performances on LR settings, outperforming state-of-the-art results by simply transferring well-constructed attention maps. The code and pretrained models are publicly available in the https://github.com/gist-ailab/teaching-where-to-look.

연구 동기 및 목표

• 고해상도(HR) 모델을 저해상도(LR) 이미지에 적용했을 때 발생하는 성능 저하 문제를 해결한다.
• 저해상도 이미지에서 발생하는 공간 정보 손실을 고해상도 데이터로부터의 사전 지식을 활용하여 완화한다.
• 원시 특징이나 로짓보다는 주의 맵(집중할 영역을 나타내는)을 전달하여 저해상도 인식 성능을 향상시킨다.
• 이 방법이 얼굴 인식을 넘어서 얼굴 검출 및 일반 물체 분류 작업으로까지 일반화됨을 보여준다.
• 초해상도와 같은 높은 비용을 수반하지 않는 경량이고 효율적인 지식 정복 프레임워크를 개발한다.

제안 방법

• CBAM 모듈을 사용하여 세밀하고 정보가 풍부한 주의 맵을 생성하는 고해상도(HR) 교사 네트워크를 훈련시킨다.
• 고해상도 교사 네트워크와 저해상도 학생 네트워크의 주의 맵 간 코사인 유사도를 지식 정복 손실로 사용한다.
• 학생 네트워크를 최적화하여 주의 맵을 교사의 주의 맵과 일치시키며, 눈, 코, 입과 같은 핵심 얼굴 영역을 강조한다.
• 인식 및 검출 작업 전반에서 성능 향상을 위해 A-SKD 손실을 표준 로짓 정복과 융합한다.
• 일반화를 위해 ResNet18에 CBAM을 통합하여 일반 물체 분류 및 얼굴 검출 작업에 적용한다.
• 데이터 증강 및 다운샘플링(4×, 16×, 32×)을 활용하여 다양한 벤치마크에서 저해상도 조건을 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 고해상도(HR) 네트워크에서 유도된 주의 맵이 저해상도(LR) 얼굴 인식에 효과적인 사전 지식로 기능할 수 있는가?
• RQ2 코사인 유사도를 통한 주의 맵 전달이 특징 기반 또는 로짓 기반 정복 대비 저해상도 인식 성능 향상에 기여하는가?
• RQ3 A-SKD는 얼굴 인식을 넘어서 얼굴 검출 및 일반 물체 분류와 같은 다른 저해상도 비전 작업으로 일반화되는가?
• RQ4 저해상도 환경에서 기존의 지식 정복 방법인 AT 및 RKD보다 주의 유사도 손실이 더 효과적인가?
• RQ5 A-SKD는 감시용 저해상도 이미지에서 작은 얼굴 검출 성능을 향상시킬 수 있는가?

주요 결과

• 4× 다운샘플링된 ImageNet에서 A-SKD는 로짓 정복과 결합했을 때 66.52%의 top-1 정확도를 기록하여 AT(65.79%) 및 RKD(65.95%)를 능가했다.
• WIDER FACE에서 16× 다운샘플링 조건에서 A-SKD는 쉬운 태스크에서 mAP을 15.72% 향상시키고, 중간 태스크에서는 14.15%, 어려운 태스크에서는 33.98% 향상시켰다.
• 32× 다운샘플링 조건에서 A-SKD는 쉬운 태스크에서 mAP을 7.54% 향상시키고, 중간 태스크에서는 12.59%, 어려운 태스크에서는 14.43% 향상시켜 극단적인 해상도 손실에 대한 강건성을 입증했다.
• 정성적 결과를 통해 A-SKD는 저해상도 이미지에서 작은 얼굴의 검출 성능을 뚜렷이 향상시켰으며, 그림 6에 시각화되어 있다.
• 제거 분석 결과 주의 맵이 저해상도 인식에 가장 효과적인 형태의 사전 지식이며, 코사인 유사도가 최적의 전달 메커니즘이라는 것이 확인되었다.
• 이 방법은 얼굴 인식을 넘어서 일반 물체 분류 및 얼굴 검출 작업에서도 잘 일반화되며 일관된 성능 향상을 보였다.