[논문 리뷰] Object Detectors Emerge in Deep Scene CNNs

Bolei Zhou, Aditya Khosla외 3명|arXiv (Cornell University)|2014. 12. 22.

Advanced Neural Network Applications참고 문헌 23인용 수 711

한 줄 요약

이 논문은 객체 감지기들이 단지 장면 분류를 위해 훈련된 컨볼루션 신경망(CNN)의 내부 레이어에서, 객체 수준의 감독 없이도 자발적으로 발생함을 보여준다. 주요 기여는 단일 CNN이 한 번의 순방향 전파로 장면 인식과 객체 위치 특정을 동시에 수행할 수 있으며, 객체 감지기가 장면 표현의 일부로 자연스럽게 학습됨을 드러내며, 특히 구분 가능한 객체를 높은 정확도로 탐지함을 보여준다.

ABSTRACT

With the success of new computational architectures for visual processing, such as convolutional neural networks (CNN) and access to image databases with millions of labeled examples (e.g., ImageNet, Places), the state of the art in computer vision is advancing rapidly. One important factor for continued progress is to understand the representations that are learned by the inner layers of these deep architectures. Here we show that object detectors emerge from training CNNs to perform scene classification. As scenes are composed of objects, the CNN for scene classification automatically discovers meaningful objects detectors, representative of the learned scene categories. With object detectors emerging as a result of learning to recognize scenes, our work demonstrates that the same network can perform both scene recognition and object localization in a single forward-pass, without ever having been explicitly taught the notion of objects.

연구 동기 및 목표

• 객체 감지기가 객체 수준의 감독 없이 장면 분류를 위해 훈련된 깊이 있는 CNN에서 자발적으로 발생하는지 조사하기 위해.
• 장면 데이터셋으로 훈련된 CNN의 내부 표현과 객체 중심 데이터셋으로 훈련된 CNN의 표현 간 성질을 이해하기 위해.
• 장면 훈련된 CNN의 내부 유닛이 신뢰할 수 있는 객체 위치 특정과 감지를 수행할 수 있는지 평가하기 위해.
• 감지된 객체가 장면 카테고리의 구분에 가장 기여하는 객체와 일치하는지 확인하기 위해.
• 단일 깊이 신경망이 다중 수준 인식(모서리, 무늬, 객체, 장면)을 다중 출력 없이도 지원할 수 있음을 보여주기 위해.

제안 방법

• ImageNet-CNN와 동일한 아키텍처를 사용하여 205개의 장면 카테고리로 구성된 Places 데이터셋을 기반으로 깊이 있는 CNN(Places-CNN)을 훈련한다.
• pool5 레이어의 특징 맵을 분석하여 특정 객체 클래스에 대해 활성화되는 유닛을 식별한다.
• 아마존 메카니컬 터크에서 인간이 태그한 정보를 사용하여 각 유닛의 활성화가 가지는 의미적 의미를 해석한다.
• 유닛 활성화를 이용한 경계 상자 위치 특정 및 세그멘테이션을 통해 객체 감지 성능을 평가한다.
• 데이터셋 내 객체 빈도와 네트워크 내 감지 빈도 간 상관관계를 측정한다.
• 각 객체 클래스가 장면 분류에 가장 유용한 경우의 빈도를 측정하여 구분 능력을 평가한다.

실험 결과

연구 질문

• RQ1 객체 감지기가 객체 수준의 감독 없이 장면 분류를 위해 훈련된 CNN에서 자발적으로 발생할 수 있는가?
• RQ2 내부 레이어에서 감지된 객체들이 장면 카테고리 간 구분에 가장 기여하는 객체와 일치하는가?
• RQ3 네트워크 내 객체 감지의 빈도는 훈련 데이터셋 내 객체 빈도와 어떤 관계가 있는가?
• RQ4 동일한 네트워크가 한 번의 순방향 전파로 장면 인식과 객체 위치 특정을 동시에 수행할 수 있는가?
• RQ5 장면 훈련된 CNN의 내부 유닛이 의미 있고 해석 가능한 객체 감지기로 표현되는 정도는 어느 정도인가?

주요 결과

• 객체 감지기들이 장면 분류를 위해 훈련된 CNN의 pool5 레이어에서 발생하며, 총 262,144개의 유닛 중 115개가 특정 객체 클래스를 감지한다.
• SUN 데이터셋 내 객체 빈도와 네트워크 내 감지 빈도 간 상관관계는 0.54로 중간 정도이지만 유의미한 관계를 보인다.
• 장면 분류에 대한 객체의 구분 능력과 감지 빈도 간 상관관계는 0.84로, 네트워크가 가장 정보가 많은 객체를 우선적으로 선택함을 시사한다.
• pool5 유닛을 이용한 감지된 객체의 세그멘테이션 성능은 높은 재현율 지수(Jaccard index)와 평균 정확도를 기록하며, 많은 객체에서 AP > 0.5를 기록한다.
• 네트워크는 단일 순방향 전파를 통해 내부 특징 맵만을 사용하여 장면 인식과 객체 위치 특정을 동시에 수행할 수 있다.
• 감지된 객체는 눈, 코와 같은 의미적 부분에 국한되지 않고, 침대, 램프, 옷장과 같은 장면에 관련된 객체를 포함하며, 이는 장면의 구분에 핵심적인 역할을 한다.