[論文レビュー] MOVE: Unsupervised Movable Object Segmentation and Detection

Adam Bielski, Paolo Favaro|arXiv (Cornell University)|Oct 14, 2022

Visual Attention and Saliency Detection被引用数 6

ひとこと要約

MOVEは、物体の局所的シフトの物理的妥当性を自己教師信号として用いることで、自己教師型の可搬物体セグメンテーションおよび検出を実現する手法を提案する。事前学習済みのSSL特徴（例：DINO、MAE）とインpaintingネットワーク、敵対的訓練を組み合わせ、シフトされた前景からのセグメンテーションアーティファクトを検出する。これにより、1対象物検出で平均7.2%のCorLoc向上、クラスに依存しない検出で相対的に53%のAP向上を達成し、最先端の性能を実現した。

ABSTRACT

We introduce MOVE, a novel method to segment objects without any form of supervision. MOVE exploits the fact that foreground objects can be shifted locally relative to their initial position and result in realistic (undistorted) new images. This property allows us to train a segmentation model on a dataset of images without annotation and to achieve state of the art (SotA) performance on several evaluation datasets for unsupervised salient object detection and segmentation. In unsupervised single object discovery, MOVE gives an average CorLoc improvement of 7.2% over the SotA, and in unsupervised class-agnostic object detection it gives a relative AP improvement of 53% on average. Our approach is built on top of self-supervised features (e.g. from DINO or MAE), an inpainting network (based on the Masked AutoEncoder) and adversarial training.

研究の動機と目的

• 人為的マスクやバウンディングボックスのアノテーションを一切必要としない自己教師型の非教師付き物体セグメンテーションおよび検出手法の開発。
• 可搬な前景物体は局所的にシフト可能であり、その物理的性質を活用して現実的な新しい画像を生成できる点を自己教師信号として活用する。
• 既存の最先端手法を上回る性能を、非教師付き顕著な物体検出およびクラスに依存しない物体検出タスクで達成すること。
• 生成モデルや複雑なシーン合成に依存せず、インpaintingとシフトに基づくアーティファクト検出を用いて学習を行うこと。

提案手法

• 事前学習済みのビジョントランスフォーマ（例：DINOやMAEエンコーダ）を固定バックボーンとして用い、自己教師型特徴を抽出する。
• U-Netに類似したアップサンプリングCNNに基づくセグメンテーションヘッドが、これらの特徴から前景マスクを予測する。
• MAEに敵対的損失を組み合わせたインpaintingネットワークが、マスク処理済み画像から背景を再構成する。
• 予測された前景物体を局所的にシフトし、再構成された背景に貼り付けることで合成画像を生成する。
• テクスチャの不一致や重複領域などのアーティファクトを監視信号として用いる：正しいマスクはこうしたアーティファクトを最小化する。
• 生成された合成画像（シフト済み）と、元の画像にシフトされた物体を貼り付けた偽物画像（コピー＆ペースト）を区別するための識別器を用いて、セグメンテーションモデルを敵対的に訓練する。

実験結果

リサーチクエスチョン

• RQ1 物体の可搬性という物理的性質は、非教師付き物体セグメンテーションにおける強力で信頼性の高い自己教師信号として機能するか？
• RQ2 シフトに起因するアーティファクトに基づく手法は、SSL特徴に対するクラスタリングベースのアプローチを上回る性能を示せるか？
• RQ3 生成モデルの学習や合成データ生成を一切行わないことで、より良い汎化性能と性能向上が達成できるか？
• RQ4 可搬性に基づく自己教師信号は、顕著な物体検出およびクラスに依存しない物体検出ベンチマークの両方でどの程度性能向上をもたらすか？

主な発見

• VOC07、VOC12、COCO20Kの3つのデータセットで、非教師付き1対象物発見タスクにおいて、最先端手法を平均7.2%のCorLoc向上で上回った。
• COCOval2017における非教師付きクラスに依存しない物体検出では、AP50が6.8%（相対56%）向上、AP75が2.3%（相対55%）向上、APが2.7%（相対49%）向上した。
• DUTS-TRを含む多様なデータセットに強く汎化し、教師ありベースラインと同等の性能を示した。
• アブレーションスタディにより、再構成誤差やクラスタリングベースの手法よりも可搬性がより頑健な自己教師信号であることが確認された。
• 合成画像を用いた敵対的訓練により、画像のリアリズムが向上し、境界領域におけるマスク品質が向上した。
• 連結成分による後処理により複数の物体を回復可能となったが、可搬性の曖昧さのため一部の物体を逃す可能性は依然として存在した。