[論文レビュー] SegRefiner: Towards Model-Agnostic Segmentation Refinement with Discrete Diffusion Process

Mengyu Wang, Henghui Ding+4 more|arXiv (Cornell University)|Dec 19, 2023

Advanced Neural Network Applications被引用数 6

ひとこと要約

SegRefinerは、モデルに依存しないセグメンテーションの微調整フレームワークを提案する。これはマスク微調整を離散的拡散過程として扱い、一方向のピクセル状態遷移を通じて反復的に粗いマスクをノイズ除去する。この手法は、セマンティック、インスタンス、二値画像セグメンテーションのすべての分野で最先端の性能を達成し、従来のモデルに依存しない手法と比較してmIoUを+3.42、Mask APを+0.9向上させ、高解像度画像における細かいディテールの保持能力も優れている。

ABSTRACT

In this paper, we explore a principal way to enhance the quality of object masks produced by different segmentation models. We propose a model-agnostic solution called SegRefiner, which offers a novel perspective on this problem by interpreting segmentation refinement as a data generation process. As a result, the refinement process can be smoothly implemented through a series of denoising diffusion steps. Specifically, SegRefiner takes coarse masks as inputs and refines them using a discrete diffusion process. By predicting the label and corresponding states-transition probabilities for each pixel, SegRefiner progressively refines the noisy masks in a conditional denoising manner. To assess the effectiveness of SegRefiner, we conduct comprehensive experiments on various segmentation tasks, including semantic segmentation, instance segmentation, and dichotomous image segmentation. The results demonstrate the superiority of our SegRefiner from multiple aspects. Firstly, it consistently improves both the segmentation metrics and boundary metrics across different types of coarse masks. Secondly, it outperforms previous model-agnostic refinement methods by a significant margin. Lastly, it exhibits a strong capability to capture extremely fine details when refining high-resolution images. The source code and trained models are available at https://github.com/MengyuWang826/SegRefiner.

研究の動機と目的

• さまざまなモデルから得られる粗いセグメンテーションマスクを再トレーニングなしで微調整する課題に対処すること。
• セグメンテーションタスクの種別にかかわらず、境界の正確性と細粒度のディテール抽出の向上を図ること。
• さまざまなセグメンテーションアーキテクチャとタスクに適用可能な汎用的でモデルに依存しない微調整フレームワークを開発すること。
• 単一ステップの微調整の限界を克服し、新規の離散的拡散過程を用いた反復的ノイズ除去を活用すること。
• 性能劣化が最小限で、データセットやタスクにわたる一般化能力に優れた高解像度マスク微調整を可能にすること。

提案手法

• SegRefinerは、入力画像が反復的なマスク微調整をガイドする条件付きデータ生成タスクとしてセグメンテーション微調整を定式化する。
• 訓練段階では、各ピクセルが正解マスクから粗いマスクへ一方向でランダムに状態遷移する、新規の離散的拡散プロセスを導入する。
• 推論段階では、粗いマスクをノイズの多い初期状態とし、モデルがピクセルごとのラベル遷移と確率を予測することで反復的なノイズ除去を実行する。
• U-Netベースのアーキテクチャに、画像の文脈と現在のマスク状態に基づいて各ピクセルの次状態を予測する条件付きノイズ除去ヘッドを搭載する。
• グローバルおよびローカルの微調整戦略をサポートし、両者の組み合わせが高解像度画像で最適なパフォーマンスを達成する。
• モデルに依存しない設計となっており、アーキテクチャの変更なしに任意のセグメンテーションモデルの出力とシームレスに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 離散的拡散プロセスは、多様なセグメンテーションタスクにわたってモデルに依存しない形でマスク微調整を効果的に行えるか？
• RQ2 境界の不正確さや細かいディテールの欠落といった複雑な誤りを是正する際、一括処理の手法と比較して、段階的・反復的なノイズ除去はどのように優れているか？
• RQ3 グローバルおよびローカル微調整の組み合わせが、高解像度画像セグメンテーションに与える影響は何か？
• RQ4 入力解像度の選択が、精度、推論速度、計算コストのトレードオフにどのように影響するか？
• RQ5 従来の手法と比較して、離散的拡散プロセスは高解像度画像における細粒度のディテールをどの程度保持できるか？

主な発見

• SegRefinerは、最も優れた従来のモデルに依存しない手法と比較して、セマンティックセグメンテーションでmIoUを+3.42、mBAを+2.21向上させた。
• インスタンスセグメンテーションでは、従来の最先端手法と比較して+0.9のMask APと+2.2のBoundary APを達成した。
• 本手法は一般化能力に優れており、アーキテクチャの変更なしに最近提案された二値画像セグメンテーションタスクでも最先端の結果を達成した。
• アブレーションスタディの結果、離散的拡散プロセスが性能向上に顕著な寄与を示し、非拡散ベースラインと比較してmBAが2.54ポイント向上した。
• グローバルおよびローカル微調整の組み合わせが最良のバランスを実現し、BIGデータセットでは94.85のIoUと77.64のmBAを達成し、単一戦略の手法を上回った。
• 推論時間と計算コストは、拡散ステップ数に比例して線形に増加し、インスタンスセグメンテーションでは6ステップで2.94秒、1492 GFLOPs/画像を要した。