[논문 리뷰] Learning Scene Gist with Convolutional Neural Networks to Improve Object Recognition

Kevin Wu, Eric Hsiao‐Kuang Wu외 1명|arXiv (Cornell University)|2018. 03. 06.

Visual Attention and Saliency Detection참고 문헌 17인용 수 5

한 줄 요약

이 논문은 시각적 중심부(foveal)와 주변부(peripheral)의 정보를 모방한 생물학적으로 유래된 이중 분지 컨볼루션 신경망인 GistNet을 제안한다. 이는 이미지의 주변부에서 유도된 맥락 정보인 '장면의 개요'(scene gist)를 객체 분류에 통합하여 객체 인식 성능을 햖थ다. 복합적인 중심부 및 주변부 시각 처리를 모델링함으로써, GistNet은 모델 크기의 5% 증가로도 특정 카테고리에서 정확도를 최대 50% 향상시키며, 기계 시각에서 맥락적 장면 이해의 가치를 입증한다.

ABSTRACT

Advancements in convolutional neural networks (CNNs) have made significant strides toward achieving high performance levels on multiple object recognition tasks. While some approaches utilize information from the entire scene to propose regions of interest, the task of interpreting a particular region or object is still performed independently of other objects and features in the image. Here we demonstrate that a scene's 'gist' can significantly contribute to how well humans can recognize objects. These findings are consistent with the notion that humans foveate on an object and incorporate information from the periphery to aid in recognition. We use a biologically inspired two-part convolutional neural network ('GistNet') that models the fovea and periphery to provide a proof-of-principle demonstration that computational object recognition can significantly benefit from the gist of the scene as contextual information. Our model yields accuracy improvements of up to 50% in certain object categories when incorporating contextual gist, while only increasing the original model size by 5%. This proposed model mirrors our intuition about how the human visual system recognizes objects, suggesting specific biologically plausible constraints to improve machine vision and building initial steps towards the challenge of scene understanding.

연구 동기 및 목표

• 장면의 개요—이미지 주변부에서 유도된 맥락 정보—가 딥 러닝 모델의 객체 인식 성능을 향상시킬 수 있는지 조사하기 위해.
• 인간의 중심부 및 주변부 시각 처리를 모방하는 생물학적으로 타당한 시각 모델을 개발하여 객체 인식 성능을 향상시키기 위해.
• 맥락적 장면 정보가 특히 도전적인 객체 카테고리에서 인식 성능을 크게 향상시킬 수 있음을 입증하기 위해.
• 기존의 CNN 아키텍처에 장면의 개요를 효율적으로 통합할 수 있는 계산적으로 효율적인 방법을 제공하기 위해.

제안 방법

• 중심부 객체 특징을 처리하는 하나의 분지와 주변부(장면의 개요) 특징을 처리하는 다른 분지를 가진 이중 분지 컨볼루션 신경망(GistNet)을 설계하기 위해.
• 중심부 분지는 관심 객체에서 고해상도 특징을 추출하도록 훈련하고, 주변부 분지는 저해상도의 전반적인 장면 맥락을 캡처하도록 하기 위해.
• 두 분지의 특징을 후기 단계에서 융합하여 맥락 정보가 객체 분류를 정밀하게 보완할 수 있도록 하기 위해.
• 효율성을 유지하기 위해 특징 추출을 위해 공통 백본을 사용하고, 주변부 분지는 장면의 개요를 캡처하기 위해 공간 풀링을 적용하기 위해.
• 특징 무결성을 유지하고 훈련 안정성을 향상시키기 위해 스킵 연결과 잔차 블록을 적용하기 위해.
• 표준 객체 인식 데이터셋에서 표준 교차 엔트로피 손실을 사용하여 모델을 종합적으로 최적화하기 위해.

실험 결과

연구 질문

• RQ1 장면의 개요를 딥 네트워크에 통합하면 객체 인식 성능이 상당히 향상되는가?
• RQ2 생물학적으로 유래된 이중 분지 아키텍처—중심부 및 주변부 시각을 모방한 것—는 객체 인식을 어떻게 향상시키는가?
• RQ3 장면의 개요를 통합할 경우 정확도 향상과 모델 크기 증가 사이의 상충 관계는 어떠한가?
• RQ4 장면의 개요가 인식에 가장 유익한 객체 카테고리는 무엇인가?

주요 결과

• 장면의 개요를 통합함으로써 GistNet은 특정 카테고리에서 객체 인식 정확도를 최대 50% 상승시킨다.
• 장면의 개요를 통합함으로써 모델 크기가 오직 5% 증가할 뿐이므로 맥락 정보 통합의 효율성이 매우 높음을 시사한다.
• 모델는 주변부 장면 맥락이 특히 모호하거나 혼잡한 장면에서 객체를 구분하는 데 상당한 도움이 된다는 것을 입증한다.
• 정확도 향상은 시각적으로 유사하거나 국소적 특징이 낮은 분류 능력을 지닌 객체 카테고리에서 가장 두드러진다.
• 이중 분지 아키텍처는 인간의 시각 처리 방식을 성공적으로 모방하며, 중심집중과 주변 맥락이 함께 인식을 지원한다.