[論文レビュー] Unsupervised Object Localization: Observing the Background to Discover Objects

Oriane Siméoni, Chloé Sekkat+4 more|arXiv (Cornell University)|Dec 15, 2022

Visual Attention and Saliency Detection被引用数 5

ひとこと要約

本論文では、通常の手法とは逆転した新しい非教師ありオブジェクト局所化手法FOUNDを提案する。本手法は、自己教師ありビジョントランスフォーマー特徴を用いて背景を事前に検出する。その後、オブジェクトはその補集合として特定される。スパースなアテンションマップから得られる粗い背景マスクに対して、1つの$1\times1$畳み込み層を学習するだけで、2エポックの学習と80FPSの推論速度で、非教師ありサリエンシー検出、オブジェクト発見、セマンティックセグメンテーションリtrievalの分野で最先端の性能を達成する。

ABSTRACT

Recent advances in self-supervised visual representation learning have paved the way for unsupervised methods tackling tasks such as object discovery and instance segmentation. However, discovering objects in an image with no supervision is a very hard task; what are the desired objects, when to separate them into parts, how many are there, and of what classes? The answers to these questions depend on the tasks and datasets of evaluation. In this work, we take a different approach and propose to look for the background instead. This way, the salient objects emerge as a by-product without any strong assumption on what an object should be. We propose FOUND, a simple model made of a single $conv1 imes1$ initialized with coarse background masks extracted from self-supervised patch-based representations. After fast training and refining these seed masks, the model reaches state-of-the-art results on unsupervised saliency detection and object discovery benchmarks. Moreover, we show that our approach yields good results in the unsupervised semantic segmentation retrieval task. The code to reproduce our results is available at https://github.com/valeoai/FOUND.

研究の動機と目的

• オブジェクトのサイズ、数、クラスに関する強い仮定を必要としない非教師ありオブジェクト局所化の課題に対処すること。
• 複雑で重いモデルや長時間の学習に依存することを減らし、オブジェクト発見の代理として背景検出に注目すること。
• 人間によるアノテーションなしで、自己教師ありビジョントランスフォーマー表現を活用して意味のある背景マスクを抽出すること。
• 最小限の計算コストで、非教師ありサリエンシー検出、オブジェクト発見、セマンティックセグメンテーションリtrieval分野で最先端の性能を達成すること。

提案手法

• 自己教師ありビジョントランスフォーマー（例：DINO や MAE）を用いて、パッチ単位の特徴とアテンションマップを抽出する。
• トランスフォーマーの自己アテンション機構が最も注目を受けていないパッチを背景パッチとして特定する。
• ノイズを低減するために、スパarsityに基づく再重み付け方式を適用し、背景パッチの選択を改善する。
• 注目度が低いパッチに類似するパッチを集約して、粗い背景マスクを構築する。
• 粗い背景マスクの補集合を仮の正解として用い、1つの$1\times1$畳み込み層を微調整するための学習を実行する。
• 推論中にエッジを保持するバイリテラルフィルタを用いた自己ラベル付け手順を導入し、マスク品質と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 非教師あり学習において、直接的なオブジェクト発見よりも、背景検出がより頑健で仮定に依存しない代替手段として有効であるか？
• RQ2 教師なし条件下で、アテンションマップのスパarsityは、信頼性の高い背景パッチを特定するためにどの程度有効か？
• RQ3 学習可能なパラメータがたった770個の極めて単純なモデルが、より大規模で複雑なアーキテクチャを上回る性能を発揮できるか？
• RQ4 粗い背景マスクの補集合が、後処理なしで正確なオブジェクト局所化を達成できるまでの程度は？
• RQ5 提案手法は、非教師ありサリエンシー検出、オブジェクト発見、セマンティックセグメンテーションリtrievalの多様なベンチマークに一般化可能か？

主な発見

• DUTS-TRベンチマークにおいて、非教師ありサリエンシー検出で最先端の結果を達成し、マルチ設定評価で最大$F_{\beta}$が0.935、IoUが0.813を記録した。
• ECSSDデータセットにおいてシングル設定モードで90.9%の精度と0.717のIoUを達成し、後処理なしで先行手法を上回った。
• DUTS-TRで2エポックのみ学習することで、12–60kイテレーションを学習する手法と同等の性能を達成し、高い学習効率を示した。
• 学習中に$bilateral$ソルバー（$\zeta()_{t}$経由）を追加することで、IoUが1.7ポイント向上し、後処理を施すとさらに0.6ポイント向上した。
• 推論時における実行速度は80FPSであり、SelfMask（36Mパラメータ、12エポック） や FreeSOLO（65Mパラメータ、60kイテレーション）と比較して顕著に高速であった。
• 可視化比較では、複数のオブジェクトを含む複雑なシーンにおいて、FreeSOLO や SelfMask よりもより正確で過剰分割の少ないマスクを生成した。