[논문 리뷰] What you need to know about the state-of-the-art computational models of object-vision: A tour through the models

Seyed‐Mahdi Khaligh‐Razavi|arXiv (Cornell University)|2014. 07. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 59인용 수 8

한 줄 요약

이 논문은 물체 시각 분야의 최신 계산 모델에 대한 종합적인 조사 보고서를 제공하며, 학습 범주(지도 학습, 비지도 학습, 수작업 설정), 아키텍처 깊이(얕은 또는 깊은), 학습 메커니즘으로 나누어 설명한다. 각 모델이 임무에 적합한 시각적 특징을 어떻게 추출하는지에 대한 직관적이고 기술적인 통찰을 제공하며, 수백만 장의 이미지로 훈련된 최근의 데이터 중심 모델들이 수동 조정 없이 정보가 풍부한 표현을 학습하는 데 중점을 둔다.

ABSTRACT

Models of object vision have been of great interest in computer vision and visual neuroscience. During the last decades, several models have been developed to extract visual features from images for object recognition tasks. Some of these were inspired by the hierarchical structure of primate visual system, and some others were engineered models. The models are varied in several aspects: models that are trained by supervision, models trained without supervision, and models (e.g. feature extractors) that are fully hard-wired and do not need training. Some of the models come with a deep hierarchical structure consisting of several layers, and some others are shallow and come with only one or two layers of processing. More recently, new models have been developed that are not hand-tuned but trained using millions of images, through which they learn how to extract informative task-related features. Here I will survey all these different models and provide the reader with an intuitive, as well as a more detailed, understanding of the underlying computations in each of the models.

연구 동기 및 목표

• 물체 시각 연구 분야의 다양한 계산 모델에 대한 통합적이고 접근 가능한 개요를 제공하기 위해.
• 시각적 특징 추출에서 지도 학습, 비지도 학습, 수동으로 설정된 모델 간의 차이를 명확히 하기 위해.
• 얕은 모델과 깊은 계층적 모델의 기초가 되는 계산 메커니즘을 설명하기 위해.
• 최신 모델에서 대규모 이미지 데이터셋으로부터 종단 간 학습으로의 전환을 부각하기 위해.
• 모델 설계 선택의 맥락을 제공하여 컴퓨터 시각, 신경과학, 기계 학습 분야 간 이해를 다리장대하기 위해.

제안 방법

• 지도 학습, 약한 지도 학습, 비지도 학습, 또는 학습되지 않은(수작업 조정) 기반으로 물체 시각 모델을 분류하기.
• 특징 추상화의 다중층을 가진 계층적 아키텍처를 가진 모델 분석, 특히 깊은 네트워크의 경우.
• 대규모 이미지 데이터셋에서 종단 간 훈련을 통해 수동 공학 없이 특징을 학습하는 모델 검토하기.
• 원숭이의 시각 시스템 해부학에 영향을 받은 모델들과 공학적 직관에 기반한 설계된 모델 간 비교하기.
• 다양한 모델 유형 간 특징 추출 메커니즘에 대한 직관적이고 기술적인 설명 제공하기.
• 시각화와 개념적 설명을 사용하여 깊은 네트워크의 계층을 거쳐 특징이 어떻게 진화하는지 시각화하기.

실험 결과

연구 질문

• RQ1 물체 시각 시스템에서 지도 학습, 비지도 학습, 수작업 설정 모델 간의 핵심 차이점은 무엇인가요?
• RQ2 깊은 계층적 모델은 얕은 모델과 비교해 특징 학습에서 아키텍처와 기능 면에서 어떻게 다릅니까?
• RQ3 대규모 이미지 데이터는 현대의 물체 시각 모델에서 수동 특징 공학 없이 훈련하는 데 어떤 역할을 하나요?
• RQ4 원숭이의 시각 시스템에 영향을 받은 모델과 순수하게 공학적으로 설계된 모델은 성능과 생물학적 타당성 면에서 어떻게 비교될 수 있나요?
• RQ5 최신 물체 시각 모델의 특징 추출 과정을 뒷받침하는 핵심 계산 원리는 무엇인가요?

주요 결과

• 현대의 물체 시각 모델은 점점 더 수백만 장의 이미지를 사용해 종단 간 훈련을 통해 정보가 풍부한, 임무에 특화된 특징을 자동으로 학습하는 데 의존하고 있다.
• 다중층의 특징 추상화 기능을 가진 깊은 계층적 모델은 한두 개의 층을 가진 얕은 모델보다 뛰어난 특징 추상화 능력을 보인다.
• 비지도 학습 및 자기지도 학습 모델은 완전히 지도 학습 접근 방식에 대한 강력한 대안으로 부상하여 인간의 레이블링 의존도를 낮추고 있다.
• 수작업 조정된 비학습 모델, 예를 들어 SIFT와 HOG는 특히 해석 가능성과 강건성이 우선시되는 특정 작업에서는 여전히 관련성이 있다.
• 원숭이의 시각 시스템에 영향을 받은 모델들은 종종 더 높은 생물학적 타당성을 보이지만, 최신 딥 러닝 모델에 비해 성능은 뒤처질 수 있다.
• 이 논문은 물체 시각 모델의 설계 공간을 명확히 하는 분류 체계를 수립하여 연구자들이 특정 응용에 적합한 모델을 선택하는 데 도움을 주었다.