[논문 리뷰] PCL: Proposal Cluster Learning for Weakly Supervised Object Detection

Peng Tang, Xinggang Wang외 5명|arXiv (Cornell University)|2018. 07. 09.

Advanced Neural Network Applications인용 수 17

한 줄 요약

이 논문은 제안 영역을 공간적으로 인접한 군집으로 묶고 반복적이고 온라인 학습을 통해 인스턴스 분류기를 개선함으로써 검출 정확도를 향상시키는 새로운 약한 지도 학습 객체 검출 프레임워크인 PCL(Proposal Cluster Learning)를 제안한다. 각 군집을 마이너스 백(mini-bag)으로 간주함으로써 모호성을 줄이고 모델이 객체의 일부가 아닌 전체 객체에 집중하도록 유도하여, PASCAL VOC, ImageNet, MS-COCO 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Weakly Supervised Object Detection (WSOD), using only image-level annotations to train object detectors, is of growing importance in object recognition. In this paper, we propose a novel deep network for WSOD. Unlike previous networks that transfer the object detection problem to an image classification problem using Multiple Instance Learning (MIL), our strategy generates proposal clusters to learn refined instance classifiers by an iterative process. The proposals in the same cluster are spatially adjacent and associated with the same object. This prevents the network from concentrating too much on parts of objects instead of whole objects. We first show that instances can be assigned object or background labels directly based on proposal clusters for instance classifier refinement, and then show that treating each cluster as a small new bag yields fewer ambiguities than the directly assigning label method. The iterative instance classifier refinement is implemented online using multiple streams in convolutional neural networks, where the first is an MIL network and the others are for instance classifier refinement supervised by the preceding one. Experiments are conducted on the PASCAL VOC, ImageNet detection, and MS-COCO benchmarks for WSOD. Results show that our method outperforms the previous state of the art significantly.

연구 동기 및 목표

• 다중 인스턴스 학습(MIL) 프레임워크에서 부분 수준의 활성화로 인해 기존의 약한 지도 학습 객체 검출 방법들이 객체의 일부가 아닌 전체 객체에 집중하지 못하는 한계를 해결하기 위해.
• 각 객체에 대해 하나의 레이블이 할당되는 공간적으로 일관된 군집으로 제안 영역을 그룹화하여 레이블 할당의 모호성을 줄이기 위해.
• 군집 수준의 지도 신호를 활용하여 반복적이고 온라인으로 인스턴스 분류기를 개선함으로써 검출 성능을 향상시키기 위해.
• 스트림 간 공유된 특징 계산을 통해 복잡성 증가에도 불구하고 계산 효율성을 유지하기 위해.

제안 방법

• 각 군집은 동일한 객체를 커버하는 제안 영역를 포함하며, 대표 제안 영역를 중심으로 구성된다.
• 군집 생성을 위한 두 가지 전략을 제안한다: 제안 영역 점수와 IoU 임계치를 사용하는 전략과 제안 영역 특징에 기반한 k-means 유사 군집화 전략.
• 각 군집을 마이너스 백으로 간주하고, 군집 수준의 레이블을 사용하여 인스턴스 분류기를 개선함으로써 직접적인 인스턴스 레이블링보다 모호성이 낮아진다.
• 온라인 다중 스트림 학습 프레임워크를 사용한다: 하나의 스트림은 표준 MIL 학습을 위해 사용하고, 추가 스트림들은 이전 스트림의 예측 결과를 활용하여 인스턴스 분류기를 개선한다.
• 개선 과정은 공유된 컨volutional 특징을 활용하여 엔드 투 엔드로 구현되어 추가적인 계산 비용을 최소화한다.
• MIL 제약 조건과 군집 기반 지도 신호를 통합한 엔드 투 엔드 학습의 변형을 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 공간적으로 일관된 군집으로 제안 영역를 그룹화하면 부분 수준의 주의를 줄여 약한 지도 학습 객체 검출 성능을 향상시킬 수 있는가?
• RQ2 각 군집을 마이너스 백으로 간주하여 지도 신호를 제공하면 직접적인 인스턴스 레이블링보다 분류기 개선 성능이 향상되는가?
• RQ3 군집 수준의 신호를 사용하여 반복적이고 온라인으로 인스턴스 분류기를 개선하면 검출 mAP가 상당히 향상되는가?
• RQ4 기존의 MIL 기반 약한 지도 학습 검출기와 비교했을 때 제안된 방법은 정확도와 효율성 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 PCL 방법은 약한 지도 학습 설정 하에서 PASCAL VOC 2007, ImageNet, MS-COCO 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.
• PASCAL VOC 2007에서 PCL은 평균 평균 정밀도(mAP) 63.7%를 기록하여 이전의 SOTA 방법보다 3.2% 높은 성능을 보였다.
• MS-COCO에서 이 방법은 28.4%의 mAP를 기록하여 최근 논문 [57]을 초월했으며, 이 논문은 본 논문의 컆퍼런스 버전을 구성 요소로 사용했다.
• 군집 계산으로 인한 훈련 시간 증가 외에는 기준 MIL 네트워크와 거의 동일한 추론 속도를 유지한다.
• 정성적 결과 분석에서 PCL은 WSDDN과 WSDDN+context보다 더 정확하고 완전한 바운딩 박스를 생성하는 것으로 나타났다. 특히 강성 있는 물체에 대해 유리하다.
• 실패 사례는 주로 인접한 유사 물체를 포함하는 너무 큰 바운딩 박스 또는 비유연하고 변형된 물체(예: 'person' 또는 'cat')의 일부만 검출하는 데 기인한다.