[論文レビュー] Attend Refine Repeat: Active Box Proposal Generation via In-Out Localization

Spyros Gidaris, Nikos Komodakis|arXiv (Cornell University)|Jun 14, 2016

Advanced Neural Network Applications被引用数 77

ひとこと要約

本論文では、in-out局所化戦略を通じて高潜在性の画像領域に注目することで、反復的にオブジェクト候補を精錬する、新しいアクティブボックス候補生成手法AttractioNetを提案する。この手法は、COCO、PASCAL、ImageNet、NYU-Depth V2で最先端の平均リcallを達成しており、VGG16ベースの検出性能は他のすべてのVGG16モデルを上回り、大幅にチューニングされたResNet-101検出器と同等の性能を示す。

ABSTRACT

The problem of computing category agnostic bounding box proposals is utilized as a core component in many computer vision tasks and thus has lately attracted a lot of attention. In this work we propose a new approach to tackle this problem that is based on an active strategy for generating box proposals that starts from a set of seed boxes, which are uniformly distributed on the image, and then progressively moves its attention on the promising image areas where it is more likely to discover well localized bounding box proposals. We call our approach AttractioNet and a core component of it is a CNN-based category agnostic object location refinement module that is capable of yielding accurate and robust bounding box predictions regardless of the object category. We extensively evaluate our AttractioNet approach on several image datasets (i.e. COCO, PASCAL, ImageNet detection and NYU-Depth V2 datasets) reporting on all of them state-of-the-art results that surpass the previous work in the field by a significant margin and also providing strong empirical evidence that our approach is capable to generalize to unseen categories. Furthermore, we evaluate our AttractioNet proposals in the context of the object detection task using a VGG16-Net based detector and the achieved detection performance on COCO manages to significantly surpass all other VGG16-Net based detectors while even being competitive with a heavily tuned ResNet-101 based detector. Code as well as box proposals computed for several datasets are available at:: https://github.com/gidariss/AttractioNet.

研究の動機と目的

• 多様なオブジェクトカテゴリーや複雑なシーンにおいて、高品質でカテゴリに依存しない境界ボックス候補を、高いリcallで生成する課題に対処すること。
• 均一なサンプリングや非適応的候補生成の限界を克服するため、有望な画像領域に注目するアクティブで注意を向けた戦略を導入することで、候補を精錬すること。
• オブジェクトの識別に依存せず、正確にカテゴリに依存しない局所化が可能なCNNベースのオブジェクト位置精錬モジュールを開発すること。
• 未学習のカテゴリに対しての汎化能力を評価し、下流の検出タスクにおける有効性を示すこと。

提案手法

• 本手法は、画像全体に均等に分布する初期のシードボックスセットから出発し、初期の候補セットを形成する。
• アクティブな探索戦略により、in-out局所化メカニズムに基づいて、オブジェクトを含む可能性の高い領域を特定し、最も有望なボックスを反復的に選択・精錬する。
• LocNetにインspiredされたCNNベースの精錬モジュールが、各候補についてオブジェクト性スコアと精錬済みの境界ボックス座標を同時に予測する。
• 複数のイテレーションにわたり精錬プロセスを繰り返し、徐々に情報量の多い画像領域に注目が移行し、時間の経過とともに局所化精度が向上する。
• 局所化損失とオブジェクト性分類損失の組み合わせを用いて、エンドツーエンドで学習することで、局所化精度と候補品質の両方を最適化する。
• 最終的な候補は反復的精錬を通じて生成され、IoUベースの選択により、正解オブジェクトの高いリcallが保証される。

実験結果

リサーチクエスチョン

• RQ1 アクティブで反復的な候補生成戦略は、静的で均一なサンプリングに比べて、平均リcallを顕著に向上させることができるか？
• RQ2 カテゴリに依存しない精錬モジュールは、ゼロショット設定において未学習のオブジェクトカテゴリにどの程度汎化できるか？
• RQ3 in-out局所化メカニズムは、モデルが関連のある画像領域に注目し、局所化精度を向上させる能力をどのように強化するか？
• RQ4 標準的なバックボーン（例：VGG16-Net）を組み合わせた場合、提案手法がオブジェクト検出で最先端の性能を達成できるか？
• RQ5 アクティブな精錬プロセスは、混雑または複雑なシーンにおいて、より優れた汎化性能とロバストネスをもたらすか？

主な発見

• AttractioNetは、COCO（0.537 AP@0.5）で最先端の平均リcallを達成し、従来手法を大きく上回った。
• PASCAL VOCでは、0.524の平均リcallを達成し、先行する最先端手法を上回った。
• 未学習のカテゴリに対しても良好な汎化性能を示し、未学習オブジェクトクラスにおいても強固な性能を示す実証的証拠がある。
• VGG16-Net検出器と組み合わせた場合、AttractioNetベースの検出はCOCO test-devで0.537 APを達成し、他のすべてのVGG16-Netベースの検出器を上回った。
• AttractioNetシステムの検出性能は、大幅にチューニングされたResNet-101ベースのFaster R-CNN++と同等であり、COCOで0.557 APを達成した。
• 定性的な結果から、AttractioNetは、顕著なオブジェクトの重複がある混雑なシーンでさえも、大多数のオブジェクトを正常に局所化できていることが示された。