[논문 리뷰] SeesawFaceNets: sparse and robust face verification model for mobile platform

Jintao Zhang|arXiv (Cornell University)|2019. 08. 24.

Face recognition and analysis참고 문헌 61인용 수 4

한 줄 요약

SeesawFaceNets는 MobileNetV2 기반 아키텍처에 새로운 Seesaw-블록과 압축 및 자극(SE) 모듈을 통합하여 이동 기반 플랫폼을 위한 경량, 희소, 강력한 얼굴 인식 모델을 제안한다. 이 모델은 SOTA 모델인 MobiFace에 비해 66% 낮은 FLOPs(146M 대비 221M)와 54.2% 적은 파라미터(1.3M 대비 2.4M)를 기록하면서도 여러 벤치마크에서 최신 기술 수준의 정확도를 달성하며, 낮은 계산 및 메모리 제약 조건에서도 높은 성능을 유지한다.

ABSTRACT

Deep Convolutional Neural Network (DCNNs) come to be the most widely used solution for most computer vision related tasks, and one of the most important application scenes is face verification. Due to its high-accuracy performance, deep face verification models of which the inference stage occurs on cloud platform through internet plays the key role on most prectical scenes. However, two critical issues exist: First, individual privacy may not be well protected since they have to upload their personal photo and other private information to the online cloud backend. Secondly, either training or inference stage is time-comsuming and the latency may affect customer experience, especially when the internet link speed is not so stable or in remote areas where mobile reception is not so good, but also in cities where building and other construction may block mobile signals. Therefore, designing lightweight networks with low memory requirement and computational cost is one of the most practical solutions for face verification on mobile platform. In this paper, a novel mobile network named SeesawFaceNets, a simple but effective model, is proposed for productively deploying face recognition for mobile devices. Dense experimental results have shown that our proposed model SeesawFaceNets outperforms the baseline MobilefaceNets, with only {\bf66\%}(146M VS 221M MAdds) computational cost, smaller batch size and less training steps, and SeesawFaceNets achieve comparable performance with other SOTA model e.g. mobiface with only {\bf54.2\%}(1.3M VS 2.4M) parameters and {\bf31.6\%}(146M VS 462M MAdds) computational cost, It is also eventually competitive against large-scale deep-networks face recognition on all 5 listed public validation datasets, with {\bf6.5\%}(4.2M VS 65M) parameters and {\bf4.35\%}(526M VS 12G MAdds) computational cost.

연구 동기 및 목표

• 클라우드 기반 얼굴 인식에서의 프라이버시 및 지연 문제를 해결하기 위해 디바이스 내에서의 추론을 가능하게 하기 위해.
• 이동 기기 플랫폼에서 최소한의 계산 및 메모리 비용으로 높은 정확도를 유지하는 경량 딥 뉴럴 네트워크를 설계하기 위해.
• 기존의 MobileFaceNet과 같은 이동형 얼굴 인식 모델을 아키텍처 혁신을 통해 향상시키되, 추론 복잡도를 증가시키지 않기 위해.
• 공개 벤치마크에서 경쟁 가능한 성능을 달성하면서 모델 크기와 FLOPs를 크게 줄이기 위해.

제안 방법

• 2×2 최대 풀링과 1×1 컨볼루션을 사용한 스킵 연결 브랜치를 갖춘 수정된 역전형 잔차 블록인 Seesaw-블록을 도입하여 특징 재사용을 향상시킨다.
• 채널 특징을 적응적으로 재조정함으로써 표현 학습을 향상시키고 계산 오버헤드를 최소화하는 압축 및 자극(SE) 모듈을 활용한다.
• 깊이 분리형 컨볼루션과 역전형 버트리켓을 사용하여 FLOPs와 파라미터를 줄이는 데 중점을 둔 이동 기반 아키텍처를 채택한다.
• 자원 요구량을 낮추기 위해 배치 크기와 학습 스텝을 감소시킨 표준 최적화 방법을 사용하여 얼굴 인식 데이터셋에서 엔드 투 엔드로 모델을 훈련시킨다.
• 성능을 엄격한 하드웨어 제약 조건 하에서도 유지하기 위해 파라미터 프루닝 및 효율적인 블록 설계와 같은 모델 압축 기법을 적용한다.
• 표준 평가 프로토콜을 사용하여 여러 공개 벤치마크에서 아키텍처를 검증함으로써 강건성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 희소하고 효율적인 신경망 아키텍처가 FLOPs와 파라미터 수를 크게 줄였음에도 불구하고 이동 기기에서 경쟁 가능한 얼굴 인식 정확도를 달성할 수 있는가?
• RQ2 표준 잔차 블록이나 역전형 버트리켓 블록에 비해 Seesaw-블록은 특징 학습과 모델 효율성에서 어떻게 향상되는가?
• RQ3 유사한 하드웨어 및 학습 제약 조건 하에서 제안된 모델이 기존의 SOTA 경량 얼굴 인식 모델인 MobileFaceNet과 MobiFace보다 얼마나 뛰어나게 성능을 냈는가?
• RQ4 SE 모듈과 Seesaw-블록의 통합이 계산 비용을 증가시키지 않으면서도 다양한 얼굴 인식 데이터셋에서 강건성을 향상시키는가?
• RQ5 소규모 배치 크기로 제한된 GPU 메모리에서도 높은 정확도를 유지하면서 효율적으로 학습이 가능한가?

주요 결과

• SeesawFaceNets는 LFW, AgeDB-30, CFP-FP, CPLFW, CALFW 등 5개의 모든 벤치마크에서 MobileFaceNet과 유사하거나 더 높은 정확도를 유지하면서도 FLOPs를 66% 낮춘다(146M 대비 221M MAdds).
• MobiFace에 비해 파라미터 수는 54.2% 감소한 1.3M, FLOPs는 31.6% 감소한 146M(462M MAdds 대비)을 사용하지만, LFW 및 기타 데이터셋에서 경쟁 가능한 성능을 기록한다.
• 더 깊고 넓은 변형인 DW-SeesawFaceNet는 파라미터 수가 6.5%(4.2M 대비 65M)에 불과하고 FLOPs는 4.35%(526M 대비 12G MAdds)에 불과하지만, 대규모 딥 네트워크 수준의 성능을 달성한다.
• 스킵 연결을 갖춘 Seesaw-블록은 추가적인 계산을 들이지 않으면서도 특징 재사용과 모델 정확도를 향상시킨다. 이는 아블레이션 연구를 통해 확인되었다.
• 배치 크기가 128인 조건에서 효율적으로 학습되며, 단지 22GB의 GPU 메모리만을 요구하여 소비자용 하드웨어에서도 초기 학습이 가능하다.
• LFW, AgeDB-30, CFP-FP, CPLFW, CALFW 등 5개의 공개 데이터셋에서 SeesawFaceNets는 정확도 대 효율 비율 측면에서 MobileFaceNet과 기타 SOTA 경량 모델을 일관되게 뛰어넘는다.