[論文レビュー] Toward unsupervised, multi-object discovery in large-scale image collections

Huy V. Vo, Patrick Pérez+1 more|arXiv (Cornell University)|Jul 6, 2020

Advanced Neural Network Applications参考文献 42被引用数 49

ひとこと要約

本論文は、CNNベースの領域提案と正則化されたスケーラブルなオブジェクト発見フレームワーク（rOSD）を用いた教師なしパイプラインを提案し、大規模な画像コレクション全体で複数のオブジェクトを発見する。

ABSTRACT

This paper addresses the problem of discovering the objects present in a collection of images without any supervision. We build on the optimization approach of Vo et al. (CVPR'19) with several key novelties: (1) We propose a novel saliency-based region proposal algorithm that achieves significantly higher overlap with ground-truth objects than other competitive methods. This procedure leverages off-the-shelf CNN features trained on classification tasks without any bounding box information, but is otherwise unsupervised. (2) We exploit the inherent hierarchical structure of proposals as an effective regularizer for the approach to object discovery of Vo et al., boosting its performance to significantly improve over the state of the art on several standard benchmarks. (3) We adopt a two-stage strategy to select promising proposals using small random sets of images before using the whole image collection to discover the objects it depicts, allowing us to tackle, for the first time (to the best of our knowledge), the discovery of multiple objects in each one of the pictures making up datasets with up to 20,000 images, an over five-fold increase compared to existing methods, and a first step toward true large-scale unsupervised image interpretation.

研究の動機と目的

• 境界ボックスの監視なしで、大規模な画像コレクション全体からオブジェクトを発見する教師なし手法を開発する。
• 補助的な分類タスクで訓練されたCNN特徴量を活用して領域提案を改善する。
• 画像内でのマルチオブジェクト発見を可能とする正則化されたOSD（rOSD）定式化を導入する。
• 最大20,000枚の画像以上のデータセットに対してオブジェクト発見を適用する、2段階のスケーラブルなアプローチを提案する。

提案手法

• 境界ボックスなしでCNN特徴マップから直接領域提案を生成する。全球的な顕著性マップと局所的極大値を構築して提案を形成する。
• 生成局所最大値でグループ化された提案を、各グループにつき最大1つの保持領域に制約することで、正則化されたOSD（rOSD）を導入する。
• 大規模コレクションのスケーラビリティを向上させるため、まず各画像で有望な提案を選択し、次に削減された提案セットで全コレクションに対してOSDを実行する、2段階戦略。
• 事前フィルタリングされた近傍の利用と、完全データセット最適化前の代理OSDの使用を含む、2段階の大規模 variant を採用する。

実験結果

リサーチクエスチョン

• RQ1 従来の教師なし提案と比べて、教師なしのCNNベース領域提案はオブジェクト発見を改善できるか？
• RQ2 局所最大群ごとに1つの領域というグループ単位の制約を組み込むと、マルチオブジェクト発見の性能は向上するか？
• RQ3 非常に大規模なデータセットの画像で、2段階の大規模戦略が複数オブジェクトの発見をどの程度可能にするか？
• RQ4 単一オブジェクトおよびマルチオブジェクト発見の標準ベンチマークにおいて、OSDと提案されたrOSDは最先端手法とどのように比較されるか？
• RQ5 境界ボックスなしで事前学習済みCNN特徴を使用することが発見性能に与える影響はどれほどか？

主な発見

• CNNベースの領域提案は、いくつかのデータセットにおけるオブジェクト発見で、既製の教師なし提案を上回る。
• 正則化されたOSD（rOSD）は元のOSDより有意に改善され、堅牢なマルチオブジェクト発見を可能にする。
• 2段階の大規模アプローチにより、20,000枚の画像までのデータセットにオブジェクト発見を適用しつつ、性能向上を維持できる。
• OD、VOC_6x2、VOC_all、VOC12では、マルチオブジェクト発見設定において、rOSDは最先端と同等かそれ以上の結果を出す。
• 大規模データセット全体で、rOSDは多-object共発現・発見の競合手法を上回り、特にVOC_allとVOC12で顕著な改善を示す。