[論文レビュー] Weakly Supervised Object Discovery by Generative Adversarial & Ranking Networks

Ali Diba, Vivek Sharma+2 more|arXiv (Cornell University)|Nov 22, 2017

Generative Adversarial Networks and Image Synthesis参考文献 52被引用数 5

ひとこと要約

本稿では、生成対抗ネットワーク（GAN）と順序付け損失を組み合わせることで、ごみだらけのシーンから現実的なオブジェクトインスタンスを合成する、弱教師付きオブジェクト発見フレームワークを提案する。バウンディングボックスアノテーションが不要なオブジェクト固有のテンプレートを学習できるように、類似度順序付け目的関数を用いて条件付きGANを訓練することで、MS-COCOおよびPASCAL VOCデータセット上で弱教師付きオブジェクト検出と局所化性能の向上が実現された。

ABSTRACT

The deep generative adversarial networks (GAN) recently have been shown to be promising for different computer vision applications, like image edit- ing, synthesizing high resolution images, generating videos, etc. These networks and the corresponding learning scheme can handle various visual space map- pings. We approach GANs with a novel training method and learning objective, to discover multiple object instances for three cases: 1) synthesizing a picture of a specific object within a cluttered scene; 2) localizing different categories in images for weakly supervised object detection; and 3) improving object discov- ery in object detection pipelines. A crucial advantage of our method is that it learns a new deep similarity metric, to distinguish multiple objects in one im- age. We demonstrate that the network can act as an encoder-decoder generating parts of an image which contain an object, or as a modified deep CNN to rep- resent images for object detection in supervised and weakly supervised scheme. Our ranking GAN offers a novel way to search through images for object specific patterns. We have conducted experiments for different scenarios and demonstrate the method performance for object synthesizing and weakly supervised object detection and classification using the MS-COCO and PASCAL VOC datasets.

研究の動機と目的

• バウンディングボックスアノテーションが存在しない弱教師付きオブジェクト検出の課題に対処するため、生成モデルを活用すること。
• 画像ラベルのみを用いて、ごみだらけのシーン内に実際のオブジェクトインスタンスを発見・合成すること。
• 1枚の画像内に複数のオブジェクトを区別できる深層類似度メトリックを、順序付け目的関数を通じて学習すること。
• トレーニング用の仮想正例テンプレートを生成することで、オブジェクト検出性能を向上させること。
• 幻覚的でGANで生成されたオブジェクトサンプルを監視信号として用いることで、弱教師付きオブジェクト検出を可能にすること。

提案手法

• クラスラベルと空間的条件を用いて、シーンから特定のオブジェクトインスタンスを合成する条件付きGANアーキテクチャを提案する。
• 実際のオブジェクトと生成されたオブジェクトの特徴埋め込みを比較することで、より現実的かつ識別性の高いサンプルを生成するよう促す、新しい順序付け損失を導入する。
• CNNエンコーダを用いて画像特徴を抽出し、その後、生成器がそれらを用いてオブジェクト固有のパッチを生成する。
• 識別器は本物の画像と生成された画像を区別するが、順序付けネットワークは、同じクラスの生成サンプル同士が異なるクラスのものよりも類似しているように保証する。
• 敵対的損失、再構成損失、および提案された順序付け損失の複数の損失成分を用いて、パイプライン全体をエンドツーエンドで訓練する。
• 訓練済みモデルを用いて合成データを生成し、データ拡張に活用することで、弱教師付き設定における検出性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 順序付け目的関数を備えた生成対抗ネットワークは、ごみだらけのシーン内に個々のオブジェクトインスタンスを効果的に発見・合成できるか？
• RQ2 バウンディングボックスアノテーションが存在しない状況でも、提案手法は弱教師付きオブジェクト検出をどれほど効果的に実行できるか？
• RQ3 学習された類似度メトリックは、標準のGANやベースライン手法と比較して、オブジェクトの局所化や分類性能を向上させるか？
• RQ4 合成されたオブジェクトテンプレートは、弱教師付き設定におけるオブジェクト検出器のトレーニングに有効な仮想正例として機能するか？
• RQ5 本手法はMS-COCOやPASCAL VOCといった異なるデータセット間でどれほど一般化可能か？

主な発見

• VGG-16を用いて合成データを活用した場合、MS-COCOテストセットで46.4%のmAPを達成し、先行する弱教師付き手法を上回った。
• PASCAL VOC 2007では、VGG-16を用いた場合55.8%のmAP、データ拡張を適用した場合58.6%のmAPを達成し、最先端のベースラインを上回った。
• PASCAL VOC 2007の「aero」クラスにおいて、85.5%の正しく局所化された率を達成し、優れた局所化能力を示した。
• 順序付け損失は特徴の識別性を著しく向上させ、より良い一般化性能と現実的なオブジェクト生成を実現した。
• 順序付け損失を用いないベースラインと比較して、PASCAL VOCでは最大6.5%のmAP向上を達成し、効果的な弱教師付き検出が可能になった。
• GANを用いて追加のトレーニングデータを合成することで、検出性能が向上し、大規模データセットの拡張可能性が示された。