[논문 리뷰] A-Fast-RCNN: Hard Positive Generation via Adversary for Object Detection

Xiaolong Wang, Abhinav Shrivastava외 1명|arXiv (Cornell University)|2017. 04. 11.

Advanced Neural Network Applications참고 문헌 42인용 수 7

한 줄 요약

이 논문은 특징 공간에서 직접적으로 가림 및 변형을 유도하여 어려운 양성 예제를 생성하는 적대적 훈련 프레임워크인 A-Fast-RCNN을 제안한다. 이는 객체 검출기의 강건성을 향상시키기 위한 것이다. 검출기와 특징을 왜곡하여 실제 세계의 도전적인 변형을 모방하는 적대자(Adversary)를 함께 훈련시킴으로써, PASCAL VOC 2007에서 2.3%의 mAP 향상과 VOC 2012에서 2.6%의 mAP 향상을 달성하였으며, 픽셀 수준의 생성 없이 드문 가림 및 변형에 대한 내성 향상을 입증하였다.

ABSTRACT

How do we learn an object detector that is invariant to occlusions and deformations? Our current solution is to use a data-driven strategy -- collect large-scale datasets which have object instances under different conditions. The hope is that the final classifier can use these examples to learn invariances. But is it really possible to see all the occlusions in a dataset? We argue that like categories, occlusions and object deformations also follow a long-tail. Some occlusions and deformations are so rare that they hardly happen; yet we want to learn a model invariant to such occurrences. In this paper, we propose an alternative solution. We propose to learn an adversarial network that generates examples with occlusions and deformations. The goal of the adversary is to generate examples that are difficult for the object detector to classify. In our framework both the original detector and adversary are learned in a joint manner. Our experimental results indicate a 2.3% mAP boost on VOC07 and a 2.6% mAP boost on VOC2012 object detection challenge compared to the Fast-RCNN pipeline. We also release the code for this paper.

연구 동기 및 목표

• 객체 검출 데이터셋에서 드문 가림 및 변형의 장꼬리 분포 문제를 해결하기 위해.
• 대규모 실데이터 수집에 의존하지 않고 드문, 샘플링이 어려운 변형에 대한 검출기의 강건성을 향상시키기 위해.
• 특징 공간에서 어려운 양성 예제를 생성하는 적대자와 함께 학습하는 통합 학습 프레임워크를 개발하기 위해.
• 데이터 증강 및 OHEM의 한계를 극복하기 위해 데이터셋 분포를 초월한 어려운 예제를 생성하기 위해.

제안 방법

• 특징 맵의 공간적 변형을 통해 가림 및 변형을 시뮬레이션하도록 적대적 네트워크를 훈련시킨다.
• 원시 픽셀을 생성하는 대신 특징 반응을 조작하여 어려운 양성 예제를 생성한다.
• 검출기와 적대자가 종단간(end-to-end)으로 함께 훈련되며, 적대자는 잘못 분류되거나 불확실한 예제를 대상으로 한다.
• 이 방법은 특징 공간 내에서 공간적 가림(ASPN)과 공간적 변형(ASDN)의 두 가지 유형의 변환을 사용한다.
• 특징 공간에서 직접적인 가림된 이미지의 생성이 필요 없어, 픽셀 수준의 이미지 합성의 복잡성을 피한다.
• Fast-RCNN 파이프라인에 통합되어 검출기와 적대자의 공동 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 특징 공간에서 어려운 양성 예제를 적대적으로 생성하면 드문 가림 및 변형에 대한 객체 검출기의 일반화 성능이 향상되는가?
• RQ2 데이터 증강 및 OHEM과 비교할 때, 적대적 특징 공간 증강은 mAP 향상에서 어떤 성능을 보이는가?
• RQ3 검출기와 적대자의 공동 훈련은 기존의 데이터 기반 접근 방식보다 장꼬리 분포 변형에 더 뛰어난 내성 향상을 이끌어내는가?
• RQ4 실제 드문 가림의 예제가 없이도 적대자가 현실적이며 탐지가 어려운 예제를 생성할 수 있는가?
• RQ5 적대적 예제와 OHEM은 상호 보완적인가? 그리고 함께 사용하면 성능 향상이 추가로 이루어지는가?

주요 결과

• A-Fast-RCNN는 Fast-RCNN 베이스라인 대비 PASCAL VOC 2007에서 2.3%의 mAP 향상을 달성하였다.
• PASCAL VOC 2012에서 이 방법은 2.6%의 mAP 향상을 보였으며, VGG16를 사용해 69.0%의 mAP를 달성하였다.
• MS COCO에서 이 방법은 AP50를 42.7%에서 46.2%로, AP를 25.7%에서 27.1%로 향상시켰다.
• A-Fast-RCNN와 OHEM의 앙상블은 VOC 2012에서 71.7%의 mAP를 기록하여, 개별적으로 사용했을 때보다 뛰어난 성능을 보였다.
• 정성적 분석 결과, 적대적 예제가 때로는 과도한 일반화를 유도할 수 있으며, 예를 들어 가려진 바퀴로 인해 휠체어를 자전거로 잘못 분류하는 경우가 있었다.