[논문 리뷰] Perceptual Generative Adversarial Networks for Small Object Detection

Jianan Li, Xiaodan Liang외 4명|arXiv (Cornell University)|2017. 06. 16.

Advanced Neural Network Applications참고 문헌 39인용 수 88

한 줄 요약

본 논문은 Perceptual GAN을 제안하며, 작은 객체의 특징을 대형 객체의 특징과 유사한 초해상 표현으로 변환하도록 학습해 탐지 성능을 향상시키고, 교통 표지판과 보행자 데이터에서 검증되었다.

ABSTRACT

Detecting small objects is notoriously challenging due to their low resolution and noisy representation. Existing object detection pipelines usually detect small objects through learning representations of all the objects at multiple scales. However, the performance gain of such ad hoc architectures is usually limited to pay off the computational cost. In this work, we address the small object detection problem by developing a single architecture that internally lifts representations of small objects to "super-resolved" ones, achieving similar characteristics as large objects and thus more discriminative for detection. For this purpose, we propose a new Perceptual Generative Adversarial Network (Perceptual GAN) model that improves small object detection through narrowing representation difference of small objects from the large ones. Specifically, its generator learns to transfer perceived poor representations of the small objects to super-resolved ones that are similar enough to real large objects to fool a competing discriminator. Meanwhile its discriminator competes with the generator to identify the generated representation and imposes an additional perceptual requirement - generated representations of small objects must be beneficial for detection purpose - on the generator. Extensive evaluations on the challenging Tsinghua-Tencent 100K and the Caltech benchmark well demonstrate the superiority of Perceptual GAN in detecting small objects, including traffic signs and pedestrians, over well-established state-of-the-arts.

연구 동기 및 목표

• 저해상도 표현으로 인한 작은 객체 탐지의 도전을 동기 부여한다.
• 작은 객체를 위한 초해상 표현을 생성하기 위한 GAN 기반 프레임워크를 제안하여 탐지를 돕는다.
• 조건부 제너레이터와 perceptual 판별기를 활용해 작은 객체의 특징을 대형 객체의 특징과 정렬시키다.
• 교통 표지판 및 보행자 벤치마크에서 최첨단 방법 대비 향상 성과를 보인다.

제안 방법

• 저수준 특징으로부터 잔차를 학습하여 작은 객체를 위한 초해상 표현을 생성하는 제너레이터를 도입한다.
• 생성을 감독하고 탐지에 유익한 표현을 보장하기 위해 adversarial 및 perceptual 분기를 가진 판별기를 사용한다.
• 작은 객체 탐지 성능을 향상시키기 위해 제너레이터와 판별기를 번갈아 가며 학습시킨다.
• 생성된 특징을 탐지 파이프라인에 통합하기 위해 RoI pooling 및 잔차 연결을 적용한다.

실험 결과

연구 질문

• RQ1 perceptual GAN이 작은 객체 표현을 대형 객체와 유사한 표현으로 변환하여 탐지 정확도를 향상시킬 수 있는가?
• RQ2 Adversarial 및 perceptual 감독이 작은 객체 탐지를 위한 생성 특징의 품질을 향상시키는가?
• RQ3 제너레이터의 입력으로 서로 다른 하위 계층 특징을 사용하는 것이 작은 객체 탐지 성능에 미치는 영향은 무엇인가?
• RQ4 이 방법은 Traffic Sign 및 Pedestrian 데이터셋을 넘어 일반화 가능한가?
• RQ5 대안적(엔드-투-엔드 베이스라인과 대비) 학습이 작은 객체의 성능을 향상시키는가?

주요 결과

• Perceptual GAN은 교통 표지판 및 보행자에서 이전 방법들에 비해 작은 객체 탐지의 재현율과 정확도를 향상시킨다.
• 제너레이터에 하위 수준 특징(Conv1)을 사용하는 것이 상위 수준 특징보다 작은 객체에서 더 나은 결과를 낸다.
• 대안적 최적화(제너레이터-판별기 교대 학습)가 엔드 투 엔드 basline 학습 구성보다 우수하다.
• 이 방법은 전체 객체 탐지 성능을 유지하면서 특히 작은 객체에서 강한 성능 향상을 달성한다.
• VOC에서 작은 인스턴스에 대한 탐지 성능이 향상될 수 있음을 시사하며, 베이스라인이 표준 방법보다 더 우수하다는 결과를 시사한다.