[논문 리뷰] PP-ShiTu: A Practical Lightweight Image Recognition System

Shengyu Wei, Ruoyu Guo외 11명|arXiv (Cornell University)|2021. 11. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 3인용 수 6

한 줄 요약

PP-ShiTu는 주체 검출, 특징 추출, 벡터 검색을 통합된 파이프라인으로 통합한 실용적이고 경량화된 이미지 인식 시스템이다. 메트릭 학습, 지식 증류, 모델 양자화, DeepHash와 같은 기법을 활용하여 다양한 이미지 인식 작업에서 높은 정확도와 추론 속도를 달성하며, 기존 모델에 비해 속도와 효율성에서 뛰어난 성능을 보이며 여러 벤치마크에서 경쟁력 있는 성능을 유지한다.

ABSTRACT

In recent years, image recognition applications have developed rapidly. A large number of studies and techniques have emerged in different fields, such as face recognition, pedestrian and vehicle re-identification, landmark retrieval, and product recognition. In this paper, we propose a practical lightweight image recognition system, named PP-ShiTu, consisting of the following 3 modules, mainbody detection, feature extraction and vector search. We introduce popular strategies including metric learning, deep hash, knowledge distillation and model quantization to improve accuracy and inference speed. With strategies above, PP-ShiTu works well in different scenarios with a set of models trained on a mixed dataset. Experiments on different datasets and benchmarks show that the system is widely effective in different domains of image recognition. All the above mentioned models are open-sourced and the code is available in the GitHub repository PaddleClas on PaddlePaddle.

연구 동기 및 목표

• 얼굴 인식, 재식별, 제품 검색 등의 다양한 응용 분야에서 이미지 인식 모델를 적응시키는 데 발생하는 비효율성과 높은 이관 비용을 해결하기 위해.
• 다양한 이미지 인식 영역으로 일반화되며 최소한의 재학습으로도 가능한 통합된 실용적 파이프라인을 설계하기 위해.
• 경량 아키텍처, 증류, 양자화, 해싱 기법을 활용하여 모델의 속도와 정확도를 최적화하기 위해.
• 모델 압축과 최적화된 추론 파이프라인을 통해 CPU 및 모바일 디바이스에서의 효율적 추론을 가능하게 하기 위해.
• 실세계 응용 분야에서 널리 활용할 수 있도록 오픈소스로 제공되는 재사용 가능한 모델과 코드를 제공하기 위해.

제안 방법

• 이미지 내 주요 객체를 효율적으로 검출하기 위해 PP-PicoDet에 PP-LCNet 백본을 활용한다.
• 임bed딩 공간 내 특징의 분류 능력을 향상시키기 위해 ArcMargin 손실을 사용한 메트릭 학습을 적용한다.
• 큰 모델에서 경량 학생 네트워크로 지식을 전이하기 위해 지식 증류(U-DML 및 SSLD)를 적용한다.
• 모델 크기를 줄이고 CPU에서의 추론 속도를 향상시키기 위해 모델 양자화를 활용한다.
• 벡터 검색 속도를 향상시키기 위해 특징 벡터를 이진 코드로 압축하기 위해 DeepHash를 구현한다.
• 모든 모듈을 엔드 투 엔드 파이프라인으로 통합: 주요 객체 검출 → 특징 추출 → 벡터 데이터베이스 내 최근접 이웃 검색

실험 결과

연구 질문

• RQ1 통합된 경량 파이프라인이 제품, 얼굴, 차량 인식과 같은 다양한 이미지 인식 작업을 효과적으로 처리할 수 있는가?
• RQ2 지식 증류와 메트릭 학습이 경량 모델의 정확도 향상에 어떻게 상호 보완적으로 기여하는가?
• RQ3 DeepHash를 통한 특징 양자화가 검색 정확도를 유지하면서 저장 용량과 추론 시간을 얼마나 줄일 수 있는가?
• RQ4 PP-PicoDet와 PP-LCNet의 통합이 CPU 최적화된 추론 환경에서 속도와 정확도의 균형을 어떻게 유지하는가?
• RQ5 다양한 데이터셋에서의 하이브리드 훈련 데이터를 사용할 경우 일반화 능력 향상에 어떤 기여를 하는가?

주요 결과

• Intel Xeon Gold 6148 CPU에서 PP-ShiTu는 평균 지연 시간이 194ms로, ResNet-50 기반 서버 모델 대비 추론 시간을 80% 이상 단축시켰다.
• U-DML 지식 증류를 활용하여 6개의 데이터셋 평균으로 Recall@1이 0.7% 향상되었으며, 추가 추론 비용 없이도 성능 향상을 달성했다.
• DeepHash를 활용한 이진 특징 모델은 인덱스 크기를 285MB에서 8.9MB로 줄였고, 검색 시간도 117ms에서 21ms로 단축시켰으며, Ali-Product 데이터셋에서 Recall@1 78%를 유지했다.
• PP-LCNet-1x는 단지 3.0M 파라미터와 2.46ms의 지연 시간으로 Intel Xeon에서 71.32%의 Top-1 정확도를 달성하여, 속도-정확도 트레이드오���에서 MobileNetV3 및 ShuffleNetV2를 능가했다.
• iCartoonFace, VeRI-Wild, SOP과 같은 다양한 데이터셋에서 일관된 성능을 유지하였으며, PP-LCNet-2.5x에 U-DML를 적용한 경우 평균 Recall@1이 0.859였다.
• 제거 실험을 통해 메트릭 학습, 증류, 양자화를 병행할 경우 정확도와 효율성 향상에 상호보완적인 효과가 있음을 확인했다.