[論文レビュー] SimpleClick: Interactive Image Segmentation with Simple Vision Transformers

Qin Liu, Zhenlin Xu+2 more|arXiv (Cornell University)|Oct 20, 2022

Visual Attention and Saliency Detection被引用数 9

ひとこと要約

SimpleClickは、階層的アーキテクチャを回避する、シンプルなビジョントランスフォーマーベース（ViT）バックボーンを用いた、最初のインタラクティブ画像セグメンテーション手法を導入する。マスクド自己符号化器で事前学習されたViTと、クリックを直接符号化する対称的パッチ埋め込み層を活用することで、SBDで4.15 NoC@90の最先端性能を達成し、従来手法より21.8%向上した。計算効率も高く、実世界のアノテーションツールに適している。

ABSTRACT

Click-based interactive image segmentation aims at extracting objects with a limited user clicking. A hierarchical backbone is the de-facto architecture for current methods. Recently, the plain, non-hierarchical Vision Transformer (ViT) has emerged as a competitive backbone for dense prediction tasks. This design allows the original ViT to be a foundation model that can be finetuned for downstream tasks without redesigning a hierarchical backbone for pretraining. Although this design is simple and has been proven effective, it has not yet been explored for interactive image segmentation. To fill this gap, we propose SimpleClick, the first interactive segmentation method that leverages a plain backbone. Based on the plain backbone, we introduce a symmetric patch embedding layer that encodes clicks into the backbone with minor modifications to the backbone itself. With the plain backbone pretrained as a masked autoencoder (MAE), SimpleClick achieves state-of-the-art performance. Remarkably, our method achieves 4.15 NoC@90 on SBD, improving 21.8% over the previous best result. Extensive evaluation on medical images demonstrates the generalizability of our method. We further develop an extremely tiny ViT backbone for SimpleClick and provide a detailed computational analysis, highlighting its suitability as a practical annotation tool.

研究の動機と目的

• シンプルで階層的でないビジョントランスフォーマーベース（ViT）をバックボーンとして用いることで、インタラクティブ画像セグメンテーションにおける階層的アーキテクチャの優位性に挑戦すること。
• タスク固有のバックボーンを再設計することなく、汎用的でマスクド自己符号化器（MAE）で事前学習されたViTから、インタラクティブセグメンテーションへの転移学習を可能にすること。
• 実用的なアノテーション要件を満たす計算効率の高いモデルを構築すること、特に医療画像やリソースが限られた環境において有効であること。
• シンプルな特徴ピラミッドを、単一の最終特徴マップから構築するだけで、高品質なセグメンテーションが達成可能であることを示すこと。
• 将来の基礎モデルを用いたインタラクティブセグメンテーション手法の強力なベースラインを確立すること。

提案手法

• 階層的設計や特徴ピラミッドネットワーク（FPN）を排除し、単一スケールの特徴マップを用いるシンプルなビジョントランスフォーマーベース（ViT）バックボーンを採用する。
• ユーザーのクリックを直接ViTバックボーンに符号化する対称的パッチ埋め込み層を導入し、アーキテクチャの変更を最小限に抑える。
• 大規模データセット上でマスクド自己符号化器（MAE）を用いてViTバックボーンを事前学習し、強力な特徴表現の転送を実現する。
• ViTバックボーンの最終特徴マップのみを用いてシンプルな特徴ピラミッドを構築し、一般特徴学習とセグメンテーション固有モジュールを分離する。
• 計算コストを低減するため、軽量なMLPデコーダーを用いて特徴ピラミッドをセグメンテーションマスクに変換する。
• バックボーンを含む全モデルをエンドツーエンドで微調整することで、性能を最大化する。

実験結果

リサーチクエスチョン

• RQ1 階層的アーキテクチャの変更なしに、シンプルなビジョントランスフォーマーベース（ViT）バックボーンが、インタラクティブ画像セグメンテーションで階層的バックボーンを上回ることができるか？
• RQ2 マスクド自己符号化による事前学習が、シンプルなViTバックボーンにおいて、インタラクティブセグメンテーションタスクに有効に転送可能か？
• RQ3 単一スケールの特徴マップから構築するシンプルな特徴ピラミッドが、マルチスケールまたはFPNに類似した設計を上回るか、同等の性能を達成できるか？
• RQ4 提案手法は、実世界の応用における実用的アノテーションツールとして十分に計算効率的か？
• RQ5 特に医療画像データセットにおいて、この手法はどの程度汎用的か？

主な発見

• SimpleClickはSBDベンチマークで4.15 NoC@90を達成し、前回の最先端手法より21.8%の向上を示した。
• 自然画像および医療画像の両ベンチマークにおいて、従来の階層的バックボーンベース手法をすべて上回り、強力な汎用性を示した。
• 微調整時にViTバックボーンを固定すると、性能が著しく低下するため、最適な結果を得るにはバックボーンの微調整が不可欠であることが示された。
• 特徴ピラミッドのマルチスケール性が重要である。単一の最終特徴マップを使用しているにもかかわらず、そのマルチスケール性を排除すると性能が著しく低下した。
• 最小のモデルバージョン（ViT-xT）は1クリックあたり17msの推論速度で、GPUメモリ使用量は0.17GBにとどまり、リアルタイムアノテーションに適している。
• 最大のViT-Hバージョンでさえ、推論時間132ms、メモリ使用量3.22GBにとどまり、インタラクティブツールとしての実用的限界内に収まっている。