[논문 리뷰] Deep Learning for Instance Retrieval: A Survey

Wei Chen, Yu Liu외 6명|arXiv (Cornell University)|2021. 01. 27.

Image Retrieval and Classification Techniques인용 수 4

한 줄 요약

이 종합 검토는 딥 러닝 기반 인스턴스 검색 방법에 대한 포괄적인 리뷰를 제공하며, 이를 딥 특징 추출, 특징 임bedding 및 집계, 네트워크 미세조정 전략으로 분류한다. 주요 벤치마크를 식별하고 최신 기술 성능을 평가하며, 도메인 이동에 대한 내성, 모바일 배포를 위한 효율성, 소수 샘플 학습, 계속 학습, 프라이버시 보존, 비디오 인스턴스 검색과 같은 핵심 과제와 향후 방향을 제시한다.

ABSTRACT

In recent years a vast amount of visual content has been generated and shared from many fields, such as social media platforms, medical imaging, and robotics. This abundance of content creation and sharing has introduced new challenges, particularly that of searching databases for similar content-Content Based Image Retrieval (CBIR)-a long-established research area in which improved efficiency and accuracy are needed for real-time retrieval. Artificial intelligence has made progress in CBIR and has significantly facilitated the process of instance search. In this survey we review recent instance retrieval works that are developed based on deep learning algorithms and techniques, with the survey organized by deep network architecture types, deep features, feature embedding and aggregation methods, and network fine-tuning strategies. Our survey considers a wide variety of recent methods, whereby we identify milestone work, reveal connections among various methods and present the commonly used benchmarks, evaluation results, common challenges, and propose promising future directions.

연구 동기 및 목표

• 최근 딥 러닝 기반 인스턴스 검색 방법을 체계적으로 검토하여, 특징 추출, 임베딩, 집계 및 미세조정 전략에 중점을 둔다.
• 인스턴스 검색 문헌에서 다양한 접근 방식 간의 관계를 드러내기 위해 주요 성과 작품을 식별한다.
• 일반적으로 사용되는 벤치마크, 평가 지표, 데이터셋 간 최신 기술 성능를 요약한다.
• 내부 클래스 변동, 적대적 내성, 데이터 효율성과 같은 지속적인 과제를 강조한다.
• 계속 학습, 프라이버시 인식 설계, 비디오 인스턴스 검색, 효율적인 모델 설계와 같은 향후 연구 방향을 제안한다.

제안 방법

• 인스턴스 검색 방법을 세 가지 핵심 구성요소로 분류: 딥 특징 추출, 특징 임베딩 및 집계, 네트워크 미세조정 전략.
• 이미지에서 압축적이고 구별력 있는 표현을 학습하기 위해 딥 컨volution 신경망(DCNNs) 분석.
• 국소적 특징 통합 및 데이터 증강을 활용해 시점, 조도, 배경 변화에 대한 내성을 향상시키는 기법 검토.
• 유사성 유지 임베딩을 학습하기 위한 방법, 특히 메트릭 학습 및 대비 손실 기반 학습 검토.
• 이동 및 엣지 장치에 적합한 컴act하고 효율적인 모델을 만들기 위해 지식 정복, 프루닝 및 양자화의 효과 평가.
• 대규모 레이블링된 데이터셋에 대한 의존도를 줄이기 위해 자기지도 학습 및 소수 샘플 학습 기법 검토.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 방법은 기존의 SIFT와 같은 전통적 방법에 비해 인스턴스 검색 성능을 어떻게 향상시키는가?
• RQ2 대규모 내부 클래스 변동에 대응하여 특징의 내성을 향상시키는 데 핵심적인 아키텍처 및 학습 전략은 무엇인가?
• RQ3 딥 러닝 모델을 자원 제약이 있는 장치에 더 효율적이고 배포 가능하게 만들 수 있는 방법은 무엇인가?
• RQ4 제한된 또는 노이즈가 많은 레이블 데이터로부터 학습하는 데 있어 주요 과제는 무엇이며, 이를 어떻게 해결할 수 있는가?
• RQ5 실세계의 동적인 환경에서 인스턴스 검색을 발전시키는 데 가장 유망한 향후 방향은 무엇인가?

주요 결과

• 딥 컨volution 신경망은 인스턴스 검색 정확도를 크게 향상시켰지만, 도메인 이동과 적대적 편향에 매우 민감하다.
• CUB-200-2011, Stanford Online Products, GLDv2와 같은 기존 벤치마크에서는 이상 조건 하에서 일부 데이터셋에서 최신 모델이 mAP 점수 90% 이상를 기록하고 있다.
• 진전에도 불구하고, 딥 특징는 특히 무늬나 반사성이 강한 물체에 대해 시점, 크기, 조도 변화에 충분한 불변성을 확보하지 못하고 있다.
• 딥 네트워크가 미시적 편향에 매우 취약함에도 불구하고, 인스턴스 검색에서 적대적 내성은 아직 탐색되지 않은 분야이다.
• 이진 신경망과 지식 정복을 포함한 컴팩트 모델은 모바일 및 웨어러블 장치에 효율적으로 배포할 수 있는 잠재력을 보이고 있다.
• 향후 연구는 계속 학습, 프라이버시 인식 설계, 비디오 인스턴스 검색을 우선순위로 삼아 실세계의 변화하는 요구에 부응해야 한다.