[논문 리뷰] Instance-aware, Context-focused, and Memory-efficient Weakly Supervised Object Detection

Zhongzheng Ren, Zhiding Yu외 5명|arXiv (Cornell University)|2020. 04. 09.

Advanced Neural Network Applications참고 문헌 63인용 수 25

한 줄 요약

이 논문은 약한 감독 객체 검출(WSOD)을 위한 통합적이고 인스턴스 인식형이며, 맥락 중심이며 메모리 효율적인 프레임워크를 제안한다. 이는 세 가지 핵심 과제인 인스턴스 모호성, 부분 지배, 높은 메모리 소비 문제를 해결한다. 인스턴스 인식형 자기학습 알고리즘(MIST), 맥락 모델링을 위한 학습 가능한 Concrete DropBlock, 순차적 배치 역전파를 도입함으로써, COCO(12.1% AP), VOC 2007(54.9% AP), VOC 2012(52.1% AP)에서 최신 기술 수준(SOTA) 성능을 달성하였으며, ResNet 기반 WSOD 및 약한 감독 비디오 객체 검출을 위한 첫 번째 벤치마크를 제공한다.

ABSTRACT

Weakly supervised learning has emerged as a compelling tool for object detection by reducing the need for strong supervision during training. However, major challenges remain: (1) differentiation of object instances can be ambiguous; (2) detectors tend to focus on discriminative parts rather than entire objects; (3) without ground truth, object proposals have to be redundant for high recalls, causing significant memory consumption. Addressing these challenges is difficult, as it often requires to eliminate uncertainties and trivial solutions. To target these issues we develop an instance-aware and context-focused unified framework. It employs an instance-aware self-training algorithm and a learnable Concrete DropBlock while devising a memory-efficient sequential batch back-propagation. Our proposed method achieves state-of-the-art results on COCO ($12.1\% ~AP$, $24.8\% ~AP_{50}$), VOC 2007 ($54.9\% ~AP$), and VOC 2012 ($52.1\% ~AP$), improving baselines by great margins. In addition, the proposed method is the first to benchmark ResNet based models and weakly supervised video object detection. Code, models, and more details will be made available at: https://github.com/NVlabs/wetectron.

연구 동기 및 목표

• 약한 감독 객체 검출에서 더 눈에 띄지 않거나 군집된 객체가 빠지거나 잘못 묶이는 인스턴스 모호성을 해결하기 위해.
• 감지기의 초점이 얼굴 등 특징적인 부분에만 갈리지 않고 전체 객체에 맞추어지도록 부분 지배 문제를 완화하기 위해.
• 특히 비디오 환경에서 밀도 높은 객체 제안서로 인한 높은 메모리 소비 문제를 줄이기 위해.
• 깊은 기반 네트워크인 ResNet과 같은 모델을 사용한 훈련을 가능하게 하고, 약한 감독 비디오 객체 검출로 확장하기 위해.
• 동시에 탐지 정확도, 일반화 능력 및 효율성을 향상시키는 통합 프레임워크를 개발하기 위해.

제안 방법

• 공간 다각화 제약 조건을 사용해 인스턴스 수준의 가짜 라벨를 계산하는 인스턴스 인식 자기학습(MIST)을 도입하여 제안 선택의 모호성을 줄인다.
• 기울기 전파가 가능한, 엔드 투 엔드 학습 가능한 드롭률을 갖춘 학습 가능한 Concrete DropBlock 모듈을 제안하여 맥락 인식 특징 학습을 장려한다.
• 제안서를 더 작은 서브배치로 순차적으로 처리하는 순차적 배치 역전파를 적용하여 ROI-Pooling 동안 메모리 사용을 크게 줄이고 더 큰 모델 훈련을 가능하게 한다.
• 이미지 수준의 라벨을 감독 신호로 사용하고, 자기학습을 통해 반복적으로 가짜 라벨를 개선함으로써 탐지 신뢰도와 정렬 정확도를 향상시킨다.
• 비디오 확장에서는 짧은 시간 동안의 운동 패턴을 활용하기 위해 광학 흐름 특징을 적용하여 시공간 일관성을 향상시킨다.
• 가짜 라벨가진 제안서에 대해 분류 손실을 최적화함으로써 전체 프레임워크를 엔드 투 엔드로 훈련시키며, 정렬과 분류 모두를 최적화한다.

실험 결과

연구 질문

• RQ1 인스턴스 인식 가짜 라벨를 갖춘 자기학습 접근법이 약한 감독 검출 중 객체 인스턴스 선택의 모호성을 줄일 수 있는가?
• RQ2 기울기 전파 가능한 학습 가능한 공간 드롭아웃 메커니즘인 Concrete DropBlock이 부분 지배 문제를 효과적으로 줄이고 맥락 인식 특징 학습을 향상시킬 수 있는가?
• RQ3 순차적 배치 역전파가 메모리 제약 조건 하에서 고해상도 이미지와 ResNet과 같은 깊은 기반 네트워크를 사용한 훈련을 가능하게 할 수 있는가?
• RQ4 제안된 프레임워크는 약한 감독 비디오 객체 검출에 일반화되며, 운동 신호를 활용해 성능 향상을 이룰 수 있는가?
• RQ5 각 구성 요소가 개별적으로나 함께 작용할 때 표준 벤치마크에서 탐지 정확도와 정확도 향상에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 방법은 COCO에서 12.1% AP를 달성하여 이전의 약한 감독 방법보다 뚜렷한 향상을 보였으며, 이 벤치마크에서 새로운 SOTA를 수립하였다.
• VOC 2007에서는 54.9% AP를 기록하여 기준 모델 대비 10.1% 상대적 향상을 보이며 복잡한 객체 카테고리에서 강력한 성능을 입증하였다.
• VOC 2012에서는 52.1% AP를 달성하여 다양한 데이터셋과 객체 분포에 걸쳐 강력한 일반화 능력을 보였다.
• 제거 분석 결과 MIST는 모든 IoU 임계값과 객체 크기에서 평균 리콜을 향상시켜 인스턴스 모호성이 감소했음을 확인하였다.
• Concrete DropBlock은 동물 및 인체 클래스에서 가장 큰 성능 향상을 이끌어내어 부분 지배 문제 완화에 효과적임을 확인하였다.
• 순차적 배치 역전파를 통해 16GB GPU에서 이미지당 최대 4,000개의 제안서를 처리할 수 있었으며, 표준 역전파 대비 훈련 속도는 2배 이내를 유지하였다.