[論文レビュー] Unsupervised Object Discovery and Co-Localization by Deep Descriptor Transforming

Xiu-Shen Wei, Chen-Lin Zhang+3 more|arXiv (Cornell University)|Jul 20, 2017

Advanced Image and Video Retrieval Techniques参考文献 4被引用数 7

ひとこと要約

本論文では、教師なし手法として、事前学習済み畳み込みニューラルネットワーク（CNN）の活性化を検出器として用い、ラベルなし画像セット間で共通の物体を共同局所化する、Deep Descriptor Transforming（DDT）を提案する。深層記述子を変換して画像間相関を評価することで、DDTは画像共同局所化において最先端の性能を達成し、最小限の人的アノテーションで認識および検出の向上に寄与する、強力でスケーラブルなウェブ画像収集を可能にする。

ABSTRACT

Reusable model design becomes desirable with the rapid expansion of computer vision and machine learning applications. In this paper, we focus on the reusability of pre-trained deep convolutional models. Specifically, different from treating pre-trained models as feature extractors, we reveal more treasures beneath convolutional layers, i.e., the convolutional activations could act as a detector for the common object in the image co-localization problem. We propose a simple yet effective method, termed Deep Descriptor Transforming (DDT), for evaluating the correlations of descriptors and then obtaining the category-consistent regions, which can accurately locate the common object in a set of unlabeled images, i.e., unsupervised object discovery. Empirical studies validate the effectiveness of the proposed DDT method. On benchmark image co-localization datasets, DDT consistently outperforms existing state-of-the-art methods by a large margin. Moreover, DDT also demonstrates good generalization ability for unseen categories and robustness for dealing with noisy data. Beyond those, DDT can be also employed for harvesting web images into valid external data sources for improving performance of both image recognition and object detection.

研究の動機と目的

• クラスラベルやオブジェクト提案が与えられない画像セットにおける教師なし物体発見の課題に対処すること。
• 特徴抽出を超えて、畳み込み活性化を物体検出器として用いるという、未利用に近い事前学習済みCNNの潜在的価値を調査すること。
• 未知のカテゴリに一般化しやすく、ノイズの多いウェブ画像に対しても効果的に対処できる手法を開発すること。
• DDTで処理されたウェブ画像を用いて、画像認識および物体検出のための自動データ拡張を実現すること。
• 高品質な外部学習データを作成するための、スケーラブルでラベルフリーのウェブ画像収集およびクリーニングツールを提供すること。

提案手法

• 複数の層で事前学習済みCNN（例：VGG-16）から深層畳み込み記述子を抽出する。
• 主成分分析（PCA）を用いて記述子を新しい空間に変換し、画像間の記述子相関を評価する。
• 最初の主成分（P¹）を、画像間で共通の物体を局所化するためのインジケータ行列として使用する。
• 画像間で投票を行うことで、一貫性がありカテゴリに整合した物体局所化マスクを生成する。
• 複数のCNN層をアンサンブルとして活用し、局所化の正確性と耐性を向上させる。
• 2番目の主成分（P²）を用いて、部分ベースの局所化を可能とし、構造的サブ領域（例：ホイール、頭部）を特定する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みCNNの活性化は、教師なし画像共同局所化において共通の物体を効果的に検出器として機能するか？
• RQ2 DDTは、教師なし物体発見および弱教師あり局所化において、最先端の手法と比較してどのように性能を発揮するか？
• RQ3 DDTはImageNetに含まれない未確認のカテゴリにどの程度一般化できるか？
• RQ4 DDTは、ターゲットオブジェクトを含まないノイズの多い画像を効果的に検出し、フィルタリングできるか？
• RQ5 DDTを用いて、ウェブ画像から自動的にバウンディングボックスとクリーニング済みデータを生成し、下流の認識および検出モデルの性能向上に寄与できるか？

主な発見

• DDTは、いかなる教師信号も使用しないにもかかわらず、ベンチマークデータセットにおいて、既存の最先端手法を顕著に上回る画像共同局所化性能を達成し、mAPが著しく向上した。
• PASCAL VOC 2007のテストセットでは、DDT+07++12が標準の07+12トレーニングセットと比較してmAPを2.8%向上させた。
• VOC 2012では、DDTの拡張により07++12と比較してmAPが4%向上し、COCO（120kの人的ラベル付き画像）で学習したモデルに匹敵する性能を示した。
• DDTは未知のカテゴリへの一般化能力が強く、ノイズの多い画像に対しても耐性があり、関係のない画像を効果的に同定・フィルタリングした。
• 本手法は、10,000枚のウェブ画像と自動生成されたバウンディングボックスを備えた新しい物体検出データセット「WebVOC」を成功裏に生成し、PASCAL VOCと同等の規模とカテゴリセットを実現した。
• 2番目の主成分（P²）は、意味のある部分レベルの構造（例：ホイール、頭部）を明らかにした。これは、将来的な部分ベース共同局所化への応用の可能性を示唆している。