[논문 리뷰] Deep Learning for Fine-Grained Image Analysis: A Survey

Xiu-Shen Wei, Jianxin Wu외 1명|arXiv (Cornell University)|2019. 07. 06.

Advanced Image and Video Retrieval Techniques참고 문헌 49인용 수 76

한 줄 요약

이 설문조사는 세 가지 주요 작업—인식, 검색, 생성—에 걸친 미세한 이미지 분석(FGIA)에서의 딥 러닝 발전을 검토하고, 데이터세트, 방법 및 향후 방향에 대해 논의한다.

ABSTRACT

Computer vision (CV) is the process of using machines to understand and analyze imagery, which is an integral branch of artificial intelligence. Among various research areas of CV, fine-grained image analysis (FGIA) is a longstanding and fundamental problem, and has become ubiquitous in diverse real-world applications. The task of FGIA targets analyzing visual objects from subordinate categories, \eg, species of birds or models of cars. The small inter-class variations and the large intra-class variations caused by the fine-grained nature makes it a challenging problem. During the booming of deep learning, recent years have witnessed remarkable progress of FGIA using deep learning techniques. In this paper, we aim to give a survey on recent advances of deep learning based FGIA techniques in a systematic way. Specifically, we organize the existing studies of FGIA techniques into three major categories: fine-grained image recognition, fine-grained image retrieval and fine-grained image generation. In addition, we also cover some other important issues of FGIA, such as publicly available benchmark datasets and its related domain specific applications. Finally, we conclude this survey by highlighting several directions and open problems which need be further explored by the community in the future.

연구 동기 및 목표

• FGIA 기술에 대한 포괄적 검토를 제공하며, 문제 배경, 데이터셋, 방법 계열을 포함한다.
• FGIA의 인식, 검색, 생성에서 체계적이고 계층적인 개요를 제시한다.
• FGIA의 도메인별 응용 및 실용적 문제점을 논의한다.
• FGIA 커뮤니티의 미해결 문제와 잠재적 향후 방향을 식별한다.

제안 방법

• FGIA 기법을 인식에 대해 세 가지 패러다임으로 정리한다: 로컬라이제이션-분류 서브네트워크, 엔드투엔드 특징 인코딩, 외부 정보의 활용.
• 엔드투엔드 특징 인코딩 접근법(예: Bilinear CNN 및 저차원 풀링)과 맞춤 손실 함수에 대해 논의한다.
• 웹 데이터, 다중 모달 데이터(텍스트, 지식 그래프), 인간-연계(Human-in-the-loop) 방법 등 외부 정보를 활용하여 FGIA를 향상시키는 방법을 설명한다.
• 감독 학습 및 약지도 감독 손실과 로컬라이제이션 전략을 포함한 미세한 이미지 검색 접근법을 요약한다.
• 범주-특정 및 텍스트 가이드 합성을 위한 생성 모델(CVAE-GAN, AttnGAN 등)을 통한 미세 이미지 생성 현황을 조사한다.
• 패션, 소매, 재식별 등 도메인 특화 FGIA 응용을 검토한다.

실험 결과

연구 질문

• RQ1 미세한 이미지 인식, 검색, 생성에 대한 주요 딥 러닝 기반 접근법은 무엇인가?
• RQ2 벤치마크 데이터셋과 감독 학습 유형이 FGIA의 발전을 어떻게 형성하는가?
• RQ3 외부 정보와 다중 모달 신호 중 어떤 것이 FGIA 성능을 가장 효과적으로 개선하는가?
• RQ4 딥 러닝을 활용한 FGIA의 주요 도전과 향후 방향은 무엇인가?

주요 결과

• 딥 러닝은 인식, 검색, 생성 전반에서 FGIA의 상당한 진전을 이끌었다.
• 세 가지 주요 FGIA 인식 패러다임은 localization-classification 서브네트워크, 엔드투엔드 특징 인코딩, 외부 정보 활용이다.
• 외부 신호로서의 웹 데이터, 텍스트 설명, 지식 그래프는 FGIA 성능을 향상시킬 수 있지만 노이즈와 도메인 격차를 야기하므로 신중한 취급이 필요하다.
• 다중 모달 설명과 약지도 감독은 전통적인 이미지-레이블 감독을 넘어 FGIA에 영향을 준다.
• CUB200-2011 및 RPC와 같은 벤치마크 데이터셋은 체계적 비교를 가능하게 하고 FGIA의 발전을 촉진한다.
• 생성적 접근은 미세 이미지 생성 및 텍스트-이미지 합성을 가능하게 하여 FGIA의 인식 외 기능을 확장한다.