[논문 리뷰] Pruning Convolutional Neural Networks for Image Instance Retrieval

Gaurav Manek, Jie Lin외 5명|arXiv (Cornell University)|2017. 07. 18.

Advanced Image and Video Retrieval Techniques참고 문헌 20인용 수 3

한 줄 요약

이 논문은 이미지 인스턴스 검색을 위한 합성곱 신경망을 압축하기 위해 히우리스틱 기반 프루닝 프레임워크와 트리플릿 손실 미세조정을 결합한다. 데이터 독립적이고 데이터 의존적인 기준을 사용해 합성곱 엣지의 프루닝을 수행한 후, 검색 전용 손실에 대해 엔드 투 엔드 미세조정을 수행함으로써 최대 5배의 모델 압축을 달성하면서 성능 저하를 최소화한다.

ABSTRACT

In this work, we focus on the problem of image instance retrieval with deep descriptors extracted from pruned Convolutional Neural Networks (CNN). The objective is to heavily prune convolutional edges while maintaining retrieval performance. To this end, we introduce both data-independent and data-dependent heuristics to prune convolutional edges, and evaluate their performance across various compression rates with different deep descriptors over several benchmark datasets. Further, we present an end-to-end framework to fine-tune the pruned network, with a triplet loss function specially designed for the retrieval task. We show that the combination of heuristic pruning and fine-tuning offers 5x compression rate without considerable loss in retrieval performance.

연구 동기 및 목표

• 이미지 인스턴스 검색을 위한 CNN에서 모델 크기를 줄이되 검색 정확도를 훼손하지 않는 도전 과제를 해결한다.
• 완전히 연결된 층보다 더 복잡한 합성곱 층에 대해 히우리스틱 프루닝 전략의 효과성을 조사한다.
• 프루닝과 검색 전용 미세조정을 통합한 엔드 투 엔드 프레임워크를 개발하고 평가하여 압축 후 성능 복원을 도모한다.
• 다양한 벤치마크 데이터셋과 딥 디스크립터 유형에서 다양한 프루닝 히우리스틱과 압축률의 영향을 평가한다.
• 모바일 및 임베디드 시스템에 실질적으로 구현하기 위한 실용적인 모델 압축과 검색 성능 간의 최적 균형을 규명한다.

제안 방법

• 합성곱 엣지의 중요도 점수를 할당하기 위해 데이터 독립적 히우리스틱—예를 들어 가중치 크기 |wᵢⱼ|, 기울기 가중 중요도 (dℒ/dwᵢⱼ × wᵢⱼ), 평균 활성도 × 가중치, 활성도 분산 × 가중치 제곱—을 적용한다.
• 손실 변화의 테일러 전개를 기반으로 한 데이터 의존적 히우리스틱을 사용해 제거하기에 덜 중요한 엣지를 식별한다.
• 이미지 인스턴스 검색에 특화된 트리플릿 손실 함수를 사용해 엔드 투 엔드 미세조정 파이프라인을 구현하여 프루닝 후 성능을 복원한다.
• 프루닝을 합성곱 층에만 적용하여 특징 계층을 유지하고 상위 층의 부족함을 집중적으로 다룬다.
• 평가를 위해 프루닝된 특징에서 딥 디스크립터를 생성하기 위해 SQP (Spherical Quantized Pooling)를 사용한다.
• 다양한 압축률 (원본 크기의 10%, 20%, 50%)에서 여러 데이터셋 (Oxford5k, Paris6k, Holidays, UKbench)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 히우리스틱 기반 프루닝이 이미지 인스턴스 검색 작업에 적용되었을 때 합성곱 층에서 높은 검색 성능를 유지할 수 있는가?
• RQ2 다양한 압축률에서 가중치 크기, 기울기 기반, 활성도 기반 등의 다양한 프루닝 히우리스틱 간 성능 유지 능력은 어떻게 비교되는가?
• RQ3 합성곱 층의 강력한 프루닝 후 트리플릿 손실 함수를 사용한 미세조정이 성능 복원에 얼마나 효과적인가?
• RQ4 성능 저하가 심각하게 발생하기 시작하는 시점의 압축 실질적 한계(최소 모델 크기)는 어디인가?
• RQ5 층별 프루닝 패턴은 네트워크 깊이에 따라 달라지며, 이는 부족함 분포와 관련이 있는가?

주요 결과

• 가중치 크기 (|wᵢⱼ|)를 사용한 히우리스틱 프루닝은 모든 벤치마크 데이터셋에서 최대 2배의 압축을 달성하면서 최소한의 성능 손실를 기록한다.
• 히우리스틱 프루닝과 트리플릿 손실을 사용한 엔드 투 엔드 미세조정을 조합하면 최대 5배의 압축을 달성하면서도 높은 검색 정확도를 유지한다. 50% 프루닝 후 Oxford5k와 Paris6k에서 평균 정밀도(mAP)는 약 80%에 도달한다.
• 미세조정은 Oxford5k와 Paris6k에서 성능을 크게 향상시키지만, UKbench 데이터셋에서는 Recall@4가 약간 감소한다. 이는 훈련 데이터와의 도메인 차이에서 기인할 가능성이 높다.
• 원본 크기의 10%로 프루닝된 네트워크에서는 성능 불연속성이 나타나며, 이는 20% 이하로의 추가 프루닝이 모델의 부족함 임계값을 초과할 수 있음을 시사한다.
• 층별 프루닝 분석 결과, 하위 층은 원본 크기의 10%에서도 약 95%의 엣지를 유지하는 반면, 상위 층은 최대 92%의 엣지를 상실하여 더 깊은 층에서 더 높은 부족함이 있음을 확인한다.
• 20–10% 범위는 성능 저하가 비례하지 않게 급격히 악화되는 성능 임계점으로, 효과적인 프루닝의 실질적 하한선을 시사한다.