[논문 리뷰] Part Detector Discovery in Deep Convolutional Neural Networks

Marcel Simon, Erik Rodner외 1명|arXiv (Cornell University)|2014. 11. 12.

Advanced Neural Network Applications참고 문헌 24인용 수 35

한 줄 요약

이 논문은 재학습 없이 사전 훈련된 깊이 합성곱 신경망을 사용하여 세분화된 분류에서 객체의 부분을 자동으로 탐지하고 국소화하는 Part Detector Discovery (PDD) 방법을 제안한다. 사전 훈련된 ImageNet 네트워크의 기울기 맵을 분석하고 활성화 중심을 애너테이션된 부분 또는 바운딩 박스와 연관지어, 추가 계산 비용을 최소화하면서도 강력한 부분 탐지 및 분류를 가능하게 한다. CUB-200-2011 데이터셋에서 62.5%의 정확도를 달성하였으며, 실제 부분 위치를 사용할 경우의 상한선 62.7%에 거의 도달한다.

ABSTRACT

Current fine-grained classification approaches often rely on a robust localization of object parts to extract localized feature representations suitable for discrimination. However, part localization is a challenging task due to the large variation of appearance and pose. In this paper, we show how pre-trained convolutional neural networks can be used for robust and efficient object part discovery and localization without the necessity to actually train the network on the current dataset. Our approach called "part detector discovery" (PDD) is based on analyzing the gradient maps of the network outputs and finding activation centers spatially related to annotated semantic parts or bounding boxes. This allows us not just to obtain excellent performance on the CUB200-2011 dataset, but in contrast to previous approaches also to perform detection and bird classification jointly without requiring a given bounding box annotation during testing and ground-truth parts during training. The code is available at http://www.inf-cv.uni-jena.de/part_discovery and https://github.com/cvjena/PartDetectorDisovery.

연구 동기 및 목표

• 사전 훈련된 깊이 합성곱 신경망이 ImageNet과 같은 관련 없는 데이터셋에서 훈련된 후에도 일반적인 객체 부분에 대한 암묵적 탐지기를 내재하고 있는지 조사하기 위해.
• 훈련 중에 부분 애너테이션을 필요로 하거나 추론 중에 바운딩 박스 애너테이션을 필요로 하지 않는 방식으로 객체 부분을 탐지하고 국소화하는 방법을 개발하기 위해.
• 사전 훈련된 모델과 최소한의 적응만을 사용하여 세분화된 인식 작업에서 탐지와 분류를 동시에 수행할 수 있도록 하기 위해.
• 훈련 중에 실제 부분 레이블이 없는 상태에서 부분 탐지기를 학습함으로써 세분화된 분류의 애너테이션 비용을 줄이기 위해.

제안 방법

• 입력 이미지 픽셀에 대한 CNN 출력 채널의 기울기 맵을 계산하여 활성화 패tern을 식별한다.
• 기울기 맵에서 활성화 중심을 추정하여 높은 반응을 보이는 영역을 특정한다.
• 활성화 중심이 애너테이션된 의미적 부분 또는 바운딩 박스와 공간적으로 가장 가까운 채널을 선택하여 부분 탐지기로 구성한다.
• 추론 중에 선택된 채널을 부분 탐지기로 사용하여 추가 훈련 없이도 부분 국소화를 가능하게 한다.
• 검출된 부분 위치를 부분 기반 분류 프레임워크에 적용하여 전역 특징과 결합함으로써 정확도를 향상시킨다.
• 사전 훈련된 네트워크의 특징 계층과 기울기 기반 국소화를 활용하여 제약 조건이 없는 전체 이미지에서 탐지 및 분류를 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 ImageNet에서 훈련된 사전 훈련된 깊이 합성곱 신경망이 세분화된 인식 작업에 관련된 일반적인 객체 부분을 암묵적으로 탐지할 수 있는가?
• RQ2 재학습이나 훈련 중에 부분 애너테이션 없이도 사전 훈련된 신경망에서 부분 탐지기를 발견할 수 있는가?
• RQ3 추론 중에 실제 바운딩 박스가 필요 없이도 제안된 방법이 높은 부분 국소화 정확도와 분류 성능를 달성할 수 있는가?
• RQ4 실제 부분 또는 바운딩 박스 애너테이션에 의존하는 최신 기술들과 비교해 볼 때 제안된 방법의 성능는 어떠한가?

주요 결과

• 제안된 PDD 방법은 CUB-200-2011 데이터셋에서 재학습 없이도 62.5%의 세분화된 분류 정확도를 달성하였으며, 이는 재학습 없이 보고된 최고 성능 중 하나이다.
• 기존 연구 대비 부분 국소화 오차가 크게 낮아, 부리 및 목 부분과 같은 부분에서 [26] 대비 2배 향상된 성능를 기록하였다.
• 테스트 중에 실제 바운딩 박스가 없는 제약 없는 설정에서도 60.1%의 정확도를 달성하였으며, 제약 있는 설정 대비 2.4% 뿐 낮고, 실제 부분 위치를 사용할 경우의 상한선에 0.2% 내외로 근접하였다.
• 훈련 중에 실제 부분 애너테이션을 사용하지 않았음에도 불구하고, 전역 CNN 특징만을 사용하는 베이스라인 대비 정확도가 10% 이상 높았다.
• 직접적인 감독 없이도 사전 훈련된 네트워크가 부리, 꼬리, 날개와 같은 다양한 새 몸체 부분을 구분할 수 있음을 보여주며, 이는 사전 훈련된 네트워크가 의미 있는 부분 특징를 인코딩하고 있음을 시사한다.
• 기본 기울기 분석과 채널 선택 이후에 부분 탐지가 거의 추가 계산 비용 없이 수행되므로, 최소한의 계산 오버헤드로 함께 탐지와 분류를 수행할 수 있다.