[論文レビュー] Mining Objects: Fully Unsupervised Object Discovery and Localization From a Single Image.

Runsheng Zhang, Yaping Huang+4 more|arXiv (Cornell University)|Feb 26, 2019

Visual Attention and Saliency Detection参考文献 35被引用数 6

ひとこと要約

本稿では、アノテーションを一切用いずに1枚の画像内に存在する支配的オブジェクトを発見および局所化する完全に教師なしの手法であるオブジェクトロケーションマイニング（OLM）を提案する。事前学習済みの畳み込みニューラルネットワーク（CNN）の特徴マップを取って取引データベースに変換し、パターンマイニングを適用することで、空間的・外観的整合性を持つ共起パターンを同定する。これにより、正確なオブジェクト局所化とパーツ同定が可能となり、複数のベンチマークで最先端の性能を達成する。

ABSTRACT

The goal of our work is to discover dominant objects without using any annotations. We focus on performing unsupervised object discovery and localization in a very general setting where only a single image is given. This is far more challenge than typical co-localization or weakly-supervised localization tasks. To tackle this problem, we propose a simple but effective pattern mining-based method, called Object Location Mining (OLM), which exploits the advantages of data mining and feature representation of pre-trained convolutional neural networks (CNNs). Specifically, we first convert the feature maps from a pre-trained CNN model into a set of transactions, and then discovers frequent patterns from transaction database through pattern mining techniques. We observe that those discovered patterns, i.e, co-occurrence highlighted regions, typically hold appearance and spatial consistency. Motivated by this observation, we can easily discover and localize possible objects by merging relevant meaningful patterns in an unsupervised manner. Extensive experiments on eleven benchmarks demonstrate that OLM achieves competitive localization performance compared with the state-of-the-art methods. We also evaluate our approach compared with unsupervised saliency detection methods and achieves best results on four benchmark datasets. Moreover, we conduct experiments on fine-grained classification to show that our proposed method can locate the entire object and parts accurately, which can benefit to improving the classification results significantly.

研究の動機と目的

• アノテーションなしで1枚の画像内における教師なしオブジェクト発見と局所化の課題に取り組むこと。
• バウンディングボックスやセグメンテーションアノテーションに依存せずに、オブジェクト全体およびそのパーツを局所化できる手法を開発すること。
• CNN特徴マップ内の共起パターンの空間的および外観的整合性を活用して、頑健なオブジェクト局所化を実現すること。
• オブジェクト局所化、サリエンシー検出、細分化分類のタスクにおいて、手法を評価すること。
• パターンマイニングによる教師なしオブジェクト発見が、下流の認識性能を向上させられることを示すこと。

提案手法

• 事前学習済みのCNNの特徴マップを、各空間的位置が特徴活性化の取引として表現される取引データベースに変換する。
• 特徴マップ内の空間的位置間で共起する頻度の高いパターンを発見するために、パターンマイニング手法を適用する。
• 空間的・外観的整合性を示す意味のあるパターン（潜在的なオブジェクト領域を示すもの）を同定する。
• 関連するパターンを教師なしで統合して、オブジェクト候補およびバウンディングボックスを生成する。
• 得られたオブジェクト局所化特徴量を、細分化分類などの下流タスクに活用する。
• CNN特徴量の階層的構造を活用して、全体オブジェクトおよびその構成パーツの両方を検出する。

実験結果

リサーチクエスチョン

• RQ1 CNN特徴マップ上で頻度パターンマイニングを適用することで、アノテーションなしで支配的オブジェクトを正確に局所化できるか？
• RQ2 提案手法は、最先端の弱教師ありおよび教師なしサリエンシー検出手法と比較してどのように性能を発揮するか？
• RQ3 発見されたオブジェクト領域は、細分化分類の精度をどの程度向上できるか？
• RQ4 本手法は完全に教師なしで、オブジェクト全体およびそのパーツを同時に局所化できるか？
• RQ5 空間的・外観的整合性が、発見されたパターンの局所化精度に果たす寄与度はどの程度か？

主な発見

• OLMは11のベンチマークデータセットで競争力ある局所化性能を達成し、教師なし設定で最先端の手法を上回った。
• 4つのベンチマークデータセットにおいて、OLMは教師なしサリエンシー検出手法を上回り、優れたオブジェクト局所化精度を示した。
• 本手法は、オブジェクト全体およびそのパーツの両方を効果的に局所化でき、細分化分類の結果を顕著に改善した。
• パターンマイニングによって発見された共起パターンは、強い空間的・外観的整合性を示し、信頼性の高いオブジェクト候補を形成した。
• 事前学習済みCNN特徴量とパターンマイニングを組み合わせることで、人為的アノテーションなしに効果的な教師なしオブジェクト発見が可能になった。
• 複数のベンチマークを通じた検証から、本手法は多様なオブジェクトカテゴリーや画像ドメインにわたり良好な汎用性を示した。