[논문 리뷰] Multiple Instance Detection Network with Online Instance Classifier Refinement

Peng Tang, Xinggang Wang외 2명|arXiv (Cornell University)|2017. 04. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 28인용 수 30

한 줄 요약

이 논문은 이미지 레이블만을 사용하여 끝에서 끝까지 훈련하는 약한 감독 객체 검출을 위한 다중 인스턴스 검출 네트워크(MIDN)와 온라인 인스턴스 분류기 정련(OICR)를 제안한다. 공간적으로 겹치는 제안들 및 다중 스트림 네트워크 아키텍처를 통해 반복적으로 인스턴스 분류기를 정련함으로써, 이 방법은 PASCAL VOC 2007에서 47% mAP를 달성하여 이전 최고 성능 방법들을 크게 앞서 간다.

ABSTRACT

Of late, weakly supervised object detection is with great importance in object recognition. Based on deep learning, weakly supervised detectors have achieved many promising results. However, compared with fully supervised detection, it is more challenging to train deep network based detectors in a weakly supervised manner. Here we formulate weakly supervised detection as a Multiple Instance Learning (MIL) problem, where instance classifiers (object detectors) are put into the network as hidden nodes. We propose a novel online instance classifier refinement algorithm to integrate MIL and the instance classifier refinement procedure into a single deep network, and train the network end-to-end with only image-level supervision, i.e., without object location information. More precisely, instance labels inferred from weak supervision are propagated to their spatially overlapped instances to refine instance classifier online. The iterative instance classifier refinement procedure is implemented using multiple streams in deep network, where each stream supervises its latter stream. Weakly supervised object detection experiments are carried out on the challenging PASCAL VOC 2007 and 2012 benchmarks. We obtain 47% mAP on VOC 2007 that significantly outperforms the previous state-of-the-art.

연구 동기 및 목표

• 이미지 수준의 애너테이션만을 사용하여 비용이 많이 드는 바운딩 박스 애너테이션을 피하는 약한 감독 객체 검출의 과제를 해결하기 위해.
• 표준 가중치 풀링을 초월해 인스턴스 분류기를 정련함으로써 끝에서 끝까지 딥 네트워크의 정렬 정확도를 향상시키기 위해.
• 제안의 공간적 겹침을 이용해 반복적으로 인스턴스 분류기를 온라인으로 정련함으로써 느린 번갈아가며 최적화하는 것을 피하기 위해.
• MIL 학습과 분류기 정련을 통합한 유일한 딥 네트워크를 개발하여 더 나은 분류 정렬 성능을 달성하기 위해.

제안 방법

• 객체 제안을 인스턴스로 간주하고, 인스턴스 분류기를 딥 네트워크 내의 숨겨진 노드로 통합하는 다중 인스턴스 검출 네트워크(MIDN)를 제안한다.
• 고성능 제안을 통해 공간적으로 겹치는 제안들로 레이블 정보를 전파하는 온라인 인스턴스 분류기 정련(OICR) 알고리즘을 도입한다.
• 각 스트림이 다음 스트림을 감시하는 다중 스트림 네트워크 아키텍처를 사용하여, 끝에서 끝까지 반복적인 인스턴스 분류기 정련을 가능하게 한다.
• Eq. (4)에 제시된 가중치 손실 함수를 사용하여 지도 정렬에 더 높은 오버랩을 가진 제안들을 우선시함으로써 분류기 학습의 안정성을 향상시킨다.
• 레이블 전파를 위해 공간적으로 겹치는 제안들을 식별하기 위해 IoU 임계값 0.5를 설정하며, 실험 결과는 작은 임계값 변화에 대해 강건함을 보였다.
• 스토하스틱 경사 하강법를 사용해 전체 네트워크를 끝에서 끝까지 훈련하며, 각 순전파 이후에 레이블 정련을 수행한다.

실험 결과

연구 질문

• RQ1 온라인으로 반복적으로 인스턴스 분류기를 정련하는 것이 약한 감독 객체 검출의 정렬 정확도를 향상시키는가?
• RQ2 제안 간의 공간적 겹침이 레이블 정보 전파와 분류기 성능에 어떤 영향을 미치는가?
• RQ3 다중 스트림 네트워크 아키텍처는 단일 끝에서 끝까지 훈련 과정에서 MIL 학습과 분류기 정련을 효과적으로 통합할 수 있는가?
• RQ4 IoU 임계값과 손실 가중치는 최종 검출 mAP에 어떤 영향을 미치는가?

주요 결과

• 제안된 OICR 방법은 PASCAL VOC 2007에서 47% mAP를 달성하여, 이전 최고 성능 방법들보다 크게 뛰어난 성능을 보였다.
• 정련 과정에서 가중치 손실 함수를 사용할 경우 성능 향상이 뚜렷했으며, 비가중치 손실을 사용할 경우 성능 향상이 미미하거나 오히려 악화되었다.
• IoU 임계값 0.5에서도 강력한 성능 유지를 유지하였으며, 임계값 0.5에서 0.6 사이에서도 결과가 안정적이었다.
• 다양한 모델의 예측을 조합한 OICR-Ens.은 VOC 2012에서 mAP를 38.2%까지 향상시켰으며, FRCNN을 추가로 정련함으로써 성능은 42.5% mAP까지 향상되었다.
• 이 방법은 '자전거', '버스', '오토바이'와 같은 경직된 물체에 특히 효과적이지만, '고양이', '개', '사람'과 같은 변형 가능한 물체는 대표 부분의 국소화가 부분적으로 이루어져 검출에 어려움을 겪는다.
• 시각화 결과는 정련이 검출기가 점차적으로 전체 물체를 커버하도록 도와주며, 물체 영역의 과도하거나 부족한 분할을 줄이는 데 기여함을 보여주었다.