[논문 리뷰] MILDNet: A Lightweight Single Scaled Deep Ranking Architecture

Anirudha Vishvakarma|arXiv (Cornell University)|2019. 03. 03.

Advanced Image and Video Retrieval Techniques참고 문헌 26인용 수 5

한 줄 요약

MILDNet는 단일 스케일 딥 랭킹 아키텍처로, 여러 중간 컨벌루션 레이어의 특징을 통합하여 상태의 기술(SOTA) 수준의 시각적 유사도 성능를 달성하면서도 모델 크기를 3배 작게, 학습 속도를 3배 빠르게, 추론 지연을 3배 줄였다. 스킵 연결과 추론 검증된 특징 융합을 통해 단일 컴팩트 모델로 스트리트투숍 데이터셋에서 비교적 높은 정확도를 달성한다.

ABSTRACT

Multi-scale deep CNN architecture [1, 2, 3] successfully captures both fine and coarse level image descriptors for visual similarity task, but they come up with expensive memory overhead and latency. In this paper, we propose a competing novel CNN architecture, called MILDNet, which merits by being vastly compact (about 3 times). Inspired by the fact that successive CNN layers represent the image with increasing levels of abstraction, we compressed our deep ranking model to a single CNN by coupling activations from multiple intermediate layers along with the last layer. Trained on the famous Street2shop dataset [4], we demonstrate that our approach performs as good as the current state-of-the-art models with only one third of the parameters, model size, training time and significant reduction in inference time. The significance of intermediate layers on image retrieval task has also been shown to be performing on popular datasets Holidays, Oxford, Paris [5]. So even though our experiments are done on ecommerce domain, it is applicable to other domains as well. We further did an ablation study to validate our hypothesis by checking the impact on adding each intermediate layer. With this we also present two more useful variants of MILDNet, a mobile model (12 times smaller) for on-edge devices and a compactly featured model (512-d feature embeddings) for systems with less RAMs and to reduce the ranking cost. Further we present an intuitive way to automatically create a tailored in-house triplet training dataset, which is very hard to create manually. This solution too can also be deployed as an all-inclusive visual similarity solution. Finally, we present our entire production level architecture which currently powers visual similarity at Fynd.

연구 동기 및 목표

• 시각적 유사도 작업에 사용되는 다중 스케일 CNN의 높은 메모리 및 지연 비용을 해결하기 위해.
• 세밀한 특징과 거시적 특징을 효율적으로 캡처하는 컴팩트한 딥 러닝 아키텍처를 개발하기 위해.
• 모델 버전을 통해 메모리가 제한된 엣지 디바이스 및 시스템에 배포 가능하게 하기 위해.
• 시각적 유사도를 위한 내부 트리플릿 학습 데이터 생성을 자동화하기 위해.
• 이커머스 플랫폼을 위한 확장 가능하고 프로덕션 준비가 된 시각적 유사도 파이프라인을 구축하기 위해.

제안 방법

• MILDNet는 단일 CNN의 여러 중간 레이어(최종 레이어 포함)의 특징을 융합하여 계층적 추상화를 캡처한다.
• 스킵 연결을 사용해 다양한 깊이의 활성화를 통합함으로써 모델 깊이를 늘리지 않고도 특징의 풍부함을 향상시킨다.
• 쿼리, 양성, 음성 이미지 트리플릿을 사용해 추론 학습을 위해 트리플릿 손실을 적용한다.
• 추론 성능에 각 중간 레이어 기여도를 검증하기 위해 아블레이션 연구를 수행한다.
• 두 가지 버전을 도입: 엣지 배포를 위한 MobileNet 기반의 모바일 버전과 메모리 제약이 있는 시스템을 위한 512차원 특징 버전.
• 자동화된 파이프라인을 통해 도메인 특화 시각적 유사도 학습을 위한 맞춤형 내부 트리플릿 데이터셋을 생성한다.

실험 결과

연구 질문

• RQ1 다중 수준 특징 융합이 있는 단일 스케일 CNN이 시각적 유사도 작업에서 다중 스케일 CNN의 성능을 따라할 수 있는가?
• RQ2 중간 레이어 특징의 포함 여부가 추론 정확도와 모델 효율성에 어떤 영향을 미치는가?
• RQ3 정확도를 유지하면서 모델 크기와 추론 지연을 얼마나 줄일 수 있는가?
• RQ4 자동화된 방법이 시각적 유사도를 위한 고품질의 도메인 특화 트리플릿 학습 데이터를 생성할 수 있는가?
• RQ5 제안된 아키텍처가 실제 이커머스 프로덕션 파이프라인에서 얼마나 효과적인가?

주요 결과

• MILDNet는 다중 스케일 모델 대비 모델 크기와 파라미터 수가 3분의 1에 불과함에도 불구하고 스트리트투숍 데이터셋에서 SOTA 성능을 달성한다.
• 기존 SOTA 접근 방식 대비 학습 시간과 추론 지연을 약 3배 감소시켰다.
• 중간 레이어를 순차적으로 추가할수록 추론 성능이 향상되며, 특히 초기 및 중간 수준의 특징에서 가장 큰 성능 향상이 관찰되었다.
• 512차원 임bedding 버전은 정확도를 2.1%만 감소시켰지만, 더 빠른 색인 처리와 낮은 메모리 사용을 가능하게 했다.
• MobileNet 기반 MILDNet 버전은 모델 크기를 12배 줄여(20MB) 5.4%의 정확도 감소를 견인하며 엣지 배포를 가능하게 했다.
• 자동화된 트리플릿 데이터 생성 파이프라인은 수동 애너테이션 비용을 줄이며 확장 가능한 내부 학습 데이터 생성을 가능하게 했다.