[논문 리뷰] Weakly Supervised Cascaded Convolutional Networks

Ali Diba, Vivek Sharma외 3명|arXiv (Cornell University)|2016. 11. 24.

Advanced Neural Network Applications참고 문헌 30인용 수 8

한 줄 요약

이 논문은 이미지 레이블만을 사용하여 약한 감독 하의 객체 검출, 분류, 국소화를 위한 두 단계 또는 세 단계 엔드 투 엔드 딥 러닝 프레임워크인 약한 감독 캐스케이드 컨볼루션 네트워크(WCCN)를 제안한다. 클래스별 제안 생성, 세분화, 다중 예제 학습(MIL)을 캐스케이드 방식으로 통합함으로써 검출 및 분류 정확도를 향상시키며, PASCAL VOC 및 ILSVRC 데이터셋에서 두 단계 기반 모델 대비 최대 2.5%의 mAP 향상을 달성하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Object detection is a challenging task in visual understanding domain, and even more so if the supervision is to be weak. Recently, few efforts to handle the task without expensive human annotations is established by promising deep neural network. A new architecture of cascaded networks is proposed to learn a convolutional neural network (CNN) under such conditions. We introduce two such architectures, with either two cascade stages or three which are trained in an end-to-end pipeline. The first stage of both architectures extracts best candidate of class specific region proposals by training a fully convolutional network. In the case of the three stage architecture, the middle stage provides object segmentation, using the output of the activation maps of first stage. The final stage of both architectures is a part of a convolutional neural network that performs multiple instance learning on proposals extracted in the previous stage(s). Our experiments on the PASCAL VOC 2007, 2010, 2012 and large scale object datasets, ILSVRC 2013, 2014 datasets show improvements in the areas of weakly-supervised object detection, classification and localization.

연구 동기 및 목표

• 오직 이미지 수준의 레이블만 제공되는 약한 감독 하의 객체 검출 문제를 해결하기 위해.
• 제안된 객체 제안을 세분화 및 다중 예제 학습(MIL)을 통합한 캐스케이드 아키텍처로 개선하여 검출 성능을 향상시키기 위해.
• 약한 감독 하에 제안 품질, 국소화, 분류를 동시에 최적화하는 딥 네트워크의 엔드 투 엔드 훈련을 가능하게 하기 위해.
• 약한 감독 시각 인식 작업에 대해 다중 작업 학습의 효과를 입증하기 위해.

제안 방법

• 두 단계 아키텍처는 먼저 글로벌 평균 풀링을 사용한 완전 컨volution 네트워크를 통해 클래스별 객체 제안을 생성한다.
• 두 번째 단계에서는 제안 영역에서 특징을 추출하기 위해 ROI 풀링을 적용하고, 이미지 수준의 레이블을 사용하여 다중 예제 학습(MIL)을 수행한다.
• 세 단계 버전은 첫 번째 단계에서 생성된 활성화 맵을 사용하여 클래스별 인스턴스 세분화를 수행하는 중간 단계를 추가하여 제안 품질을 향상시킨다.
• 전체 네트워크는 공유 백프로파게이션을 통해 엔드 투 엔드로 훈련되며, 제안 생성과 분류의 공동 최적화를 가능하게 한다.
• 제안 단계와 MIL 단계의 초기 컨볼루션 레이어 간의 가중치 공유를 통해 특징 학습을 향상시킨다.
• 제안을 개선하고 MIL 분류 성능을 향상시키기 위해, 객체 제안 개선과 MIL 향상 사이를 번갈아가며 수행하는 캐스케이드 훈련 파이프라인을 사용하여 초기화에 대한 민감도를 감소시킨다.

실험 결과

연구 질문

• RQ1 초기 객체 제안을 개선하는 캐스케이드 딥 네트워크 아키텍처가 약한 감독 하의 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 중간 단계에 약한 감독 하의 인스턴스 세분화를 통합하면 검출 및 분류 성능이 향상되는가?
• RQ3 엔드 투 엔드 훈련된 캐스케이드 단계와 단계별 미리 훈련된 방법 간의 mAP 및 내구성 측면에서의 성능 비교는 어떻게 되는가?
• RQ4 제안 단계와 분류 단계 간의 가중치 공유가 특징 학습 및 국소화에 얼마나 기여하는가?

주요 결과

• 세 단계 WCCN 아키텍처는 두 단계 버전 대비 PASCAL VOC 2007에서 평균 평균 정확도(mAP)를 2.5% 절대적으로 향상시켰다.
• 동일한 데이터셋에서 세 단계 모델은 두 단계 기반 모델 대비 분류 정확도 상위 1위 오차를 2% 향상시켰다.
• PASCAL VOC 2007에서 EdgeBox를 사용한 두 단계 WCCN는 SelectiveSearch 대비 1.5%의 mAP 향상을 보였다.
• ILSVRC 2014에서 VGG16 기반의 세 단계 WCCN는 상위 1위 오차 30.4%를 기록하여 기준 VGG16(31.2%) 및 VGG16-GAP(33.4%)를 모두 초월했다.
• WCCN가 생성한 가짜 GT 박스를 기반으로 Fast R-CNN을 미세 조정한 결과, 전체 WCCN 파이프라인보다 0.3% 높은 mAP를 기록하여 높은 품질의 제안 생성 능력을 입증했다.
• 제거 분석을 통해 세분화 단계가 초기 객체 국소화를 크게 향상시키며 제안의 노이즈를 감소시키고 후속 검출 성능을 향상시킨다는 것이 확인되었다.