[論文レビュー] Perceptual Generative Adversarial Networks for Small Object Detection

Jianan Li, Xiaodan Liang+4 more|arXiv (Cornell University)|Jun 16, 2017

Advanced Neural Network Applications参考文献 39被引用数 88

ひとこと要約

本論文は Perceptual GAN を提案し、小オブジェクト特徴を大オブジェクト特徴に似た超解像化表現へ変換して検出を改善することを学習する。交通標識と歩行者で検証。

ABSTRACT

Detecting small objects is notoriously challenging due to their low resolution and noisy representation. Existing object detection pipelines usually detect small objects through learning representations of all the objects at multiple scales. However, the performance gain of such ad hoc architectures is usually limited to pay off the computational cost. In this work, we address the small object detection problem by developing a single architecture that internally lifts representations of small objects to "super-resolved" ones, achieving similar characteristics as large objects and thus more discriminative for detection. For this purpose, we propose a new Perceptual Generative Adversarial Network (Perceptual GAN) model that improves small object detection through narrowing representation difference of small objects from the large ones. Specifically, its generator learns to transfer perceived poor representations of the small objects to super-resolved ones that are similar enough to real large objects to fool a competing discriminator. Meanwhile its discriminator competes with the generator to identify the generated representation and imposes an additional perceptual requirement - generated representations of small objects must be beneficial for detection purpose - on the generator. Extensive evaluations on the challenging Tsinghua-Tencent 100K and the Caltech benchmark well demonstrate the superiority of Perceptual GAN in detecting small objects, including traffic signs and pedestrians, over well-established state-of-the-arts.

研究の動機と目的

• 小解像度表現による小 object 検出の課題を動機づける。
• 小オブジェクトの検出を支援するための超解像表現を生成するGANベースのフレームワークを提案する。
• 条件付きジェネレータと知覚的識別子を活用して小オブジェクト特徴を大オブジェクト特徴と整合させる。
• 最先端手法と比べて交通標識と歩行者のベンチマークで改善を示す。

提案手法

• 低レベル特徴から残差を学習して小オブジェクトの超解像表現を生成するジェネレータを導入する。
• 敵対的および知覚的な分岐を持つ識別子を用いて生成を監視し、検出に有益な表現を保証する。
• 小オブジェクト検出性能を向上させるため、ジェネレータとディスクリミネータを交互に訓練する。
• RoIプーリングと残差接続を適用して生成特徴を検出パイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 知覚的GANは小オブジェクト表現を大オブジェクト風の表現に変換して検出精度を向上させることができるか？
• RQ2 敵対的および知覚的な監視は小オブジェクト検出の生成特徴の質を改善するか？
• RQ3 ジェネレータへの入力として異なる下位層特徴を使用することが小オブジェクト検出性能に与える影響は？
• RQ4 本手法は Traffic Sign および Pedestrian データセットを超えて一般化可能か？
• RQ5 従来のエンドツーエンドのベースラインと比較して、代替的な訓練は小オブジェクトの性能を向上させるか？

主な発見

• Perceptual GAN は交通標識と歩行者で従来法と比較して小オブジェクト検出のリコールと精度を改善する。
• ジェネレータに低レベル特徴（Conv1）を使用すると、高レベル特徴より小オブジェクトの結果が良い。
• 代替的最適化（ジェネレータ-ディスクリミネータの交互訓練）はエンドツーエンド訓練のベースラインより上回る。
• 本手法は小オブジェクトに特に強い性能向上を達成しつつ、全体の物体検出性能を維持する。
• VOCでの小さな实例の検出向上を示唆する一般化実験で、ベースラインが標準手法を上回る。