[논문 리뷰] End-to-End Facial Deep Learning Feature Compression with Teacher-Student Enhancement

Shurun Wang, Wenhan Yang외 1명|arXiv (Cornell University)|2020. 02. 10.

Speech and Audio Processing참고 문헌 22인용 수 7

한 줄 요약

이 논문은 얼굴 특징 표현의 비율-정확도 트레이드오프를 향상시키기 위해 잠재 코드 수준에서의 교사-학생 강화 메커니즘을 사용하는 엔드 투 엔드 딥 특징 압축 프레임워크를 제안한다. 저비트레이트 및 고비트레이트 시나리오에 대해 별도의 인코더/디코더를 훈련하고, 저비트레이트 코드를 학생 네트워크를 통해 강화함으로써, 기존 기법들인 PQ, OPQ, DHN을 초월하는 뛰어난 성능을 달성한다. LFW에서 PRO-E 모델을 사용하여 2.61 bpp에서 99.30%의 정확도를 기록한다.

ABSTRACT

In this paper, we propose a novel end-to-end feature compression scheme by leveraging the representation and learning capability of deep neural networks, towards intelligent front-end equipped analysis with promising accuracy and efficiency. In particular, the extracted features are compactly coded in an end-to-end manner by optimizing the rate-distortion cost to achieve feature-in-feature representation. In order to further improve the compression performance, we present a latent code level teacher-student enhancement model, which could efficiently transfer the low bit-rate representation into a high bit rate one. Such a strategy further allows us to adaptively shift the representation cost to decoding computations, leading to more flexible feature compression with enhanced decoding capability. We verify the effectiveness of the proposed model with the facial feature, and experimental results reveal better compression performance in terms of rate-accuracy compared with existing models.

연구 동기 및 목표

• 기계 시각 응용을 위한 딥 러닝 얼굴 특징의 효율적이고 압축된 표현 방식에 도전한다.
• 제품 양자화 및 딥 해싱과 같은 전통적 방법을 초월하여 엔드 투 엔드 딥 신경망을 활용해 압축 효율을 향상시킨다.
• 잠재 코드 강화를 통해 인코딩에서 디코딩으로 표현 비용을 유연하게 이동시켜 특징 디코딩의 유연성을 제공한다.
• 최신 특징 압축 기법들과 비교해 얼굴 인식 벤치마크에서 뛰어난 비율-정확도 성능을 입증한다.

제안 방법

• 비율-왜곡 트레이드오프를 최적화하기 위해 저비트레이트 및 고비트레이트 전용 별도의 인코더/디코더를 사용하는 엔드 투 엔드 트레이닝된 오토인코더 아키텍처를 활용한다.
• 원시 128D FaceNet 특징에서 압축된 비트스트림을 생성하기 위해 스칼라 양자화(SQ) 이후 엔트로피 코딩을 적용한다.
• 학습된 특징의 복원 정밀도를 향상시키기 위해 원본 특징과 강화된 특징 간의 평균 제곱오차(MSE) 손실을 사용하는 잠재 코드 수준의 교사-학생 강화 모듈을 도입한다.
• 원본 특징과 강화된 특징 간의 평균 제곱오차(MSE) 손실을 사용하여 복원 정밀도를 향상시키기 위해 강화 네트워크를 훈련한다.
• λ 값 범위를 1×10⁻⁴에서 1×10⁻⁷까지 다양하게 설정하여 다양한 비트레이트에서 모델을 학습하기 위해 적응적 모멘텀 추정(Adam) 최적화기를 적용한다.
• 최적화의 안정성과 일반화 능력 향상을 위해 훈련 중 클리핑 및 노이즈 증강을 적용한다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 러닝 기반 특징 압축이 얼굴 특징의 비율-정확도 트레이드오프 측면에서 기존의 PQ, OPQ, DBH와 같은 고전적 방법을 뛰어넘을 수 있는가?
• RQ2 잠재 코드 수준의 지식 전이(교사-학생 강화)는 비트레이트를 증가시키지 않고도 복원 품질을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 다양한 비트레이트에서 인코딩 복잡도와 디코딩 능력 간의 균형을 어떻게 유지하는가?
• RQ4 비트스트림 크기를 크게 줄임과 동시에 원본 모델 성능에 근접한 성능(99.32% 정확도)을 달성할 수 있는가?
• RQ5 강화 모듈은 고비트레이트 디코딩 능력을 활용하여 저비트레이트에서 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• 제안된 PRO-E 모델은 2.61 비트 매 픽셀(bpp)에서 99.30%의 얼굴 인식 정확도를 달성하여 원본 FaceNet 모델(전정밀도에서 99.32%) 및 모든 베이스라인을 능가한다.
• 2.61 bpp에서 PRO-E는 강화 기능이 없는 PRO(99.27%)보다 0.03% 향상된 99.30%의 정확도를 기록하여 잠재 코드 강화의 효과를 입증한다.
• SQ-E 모델은 스칼라 양자화(SQ)보다 0.81 bpp에서 98.63%의 정확도를 기록하여 성능 향상을 달성한다. 반면 SQ 단독은 98.48%의 정확도를 기록한다.
• PRO 모델은 2.61 bpp에서 99.30%의 정확도를 기록하여 PQ(4.00 bpp에서 98.43%), OPQ(4.00 bpp에서 99.25%), DHN(2.00 bpp에서 98.70%)를 모두 능가한다.
• AUC 및 EER 곡선(Fig. 4 및 Fig. 5)은 모든 비트레이트에서 PRO-E의 일관된 성능 향상을 보여주며, 강화 메커니즘의 견고성을 확인한다.
• 이 방법은 고복잡도 디코딩과 고비트레이트 표현 간의 적응적 전환을 가능하게 하여 실시간 기계 시각 시스템에서의 유연성을 향상시킨다.