[論文レビュー] RUN: Reversible Unfolding Network for Concealed Object Segmentation

Chunming He, Runshi Zhang+8 more|ArXiv.org|Jan 30, 2025

Adversarial Robustness in Machine Learning被引用数 3

ひとこと要約

RUN は、マスク領域と RGB 領域の両方で可逆的な前景-背景モデリングを実行し、露出対象のセグメンテーションを改善する深い展開ネットワークを導入し、複数段階の SOFS/ROBE フレームワークと不確かな領域に焦点を当てる補助再構成経路を備える。

ABSTRACT

Existing concealed object segmentation (COS) methods frequently utilize reversible strategies to address uncertain regions. However, these approaches are typically restricted to the mask domain, leaving the potential of the RGB domain underexplored. To address this, we propose the Reversible Unfolding Network (RUN), which applies reversible strategies across both mask and RGB domains through a theoretically grounded framework, enabling accurate segmentation. RUN first formulates a novel COS model by incorporating an extra residual sparsity constraint to minimize segmentation uncertainties. The iterative optimization steps of the proposed model are then unfolded into a multistage network, with each step corresponding to a stage. Each stage of RUN consists of two reversible modules: the Segmentation-Oriented Foreground Separation (SOFS) module and the Reconstruction-Oriented Background Extraction (ROBE) module. SOFS applies the reversible strategy at the mask level and introduces Reversible State Space to capture non-local information. ROBE extends this to the RGB domain, employing a reconstruction network to address conflicting foreground and background regions identified as distortion-prone areas, which arise from their separate estimation by independent modules. As the stages progress, RUN gradually facilitates reversible modeling of foreground and background in both the mask and RGB domains, directing the network's attention to uncertain regions and mitigating false-positive and false-negative results. Extensive experiments demonstrate the superior performance of RUN and highlight the potential of unfolding-based frameworks for COS and other high-level vision tasks. We will release the code and models.

研究の動機と目的

• COS を前景/背景分離の不確実性に対処することで動機づけ、マスク領域を超えて RGB 空間へ可逆モデリングを拡張。
• 残差スパース性制約を用いてセグメンテーションの不確実性を最小化する理論的に基づく COS モデルを開発。
• 最適化をマルチステージネットワークに展開し、各ステージが可逆モジュールを用いて前景と背景を洗練。
• RUN の有効性を複数の COS タスクで実証し、展開ベースのフレームワークが高レベルビジョンへ与える可能性を強調。

提案手法

• COS を前景-背景分離問題として定式化し、不確実性を低減する残差スパース性制約を含む目的を設定。
• 反復最適化をマルチステージネットワークに展開。各ステージは Segmentation-Oriented Foreground Separation (SOFS) モジュールと Reconstruction-Oriented Background Extraction (ROBE) モジュールを含む。
• SOFS はマスク領域で Reversible State Space (RSS) を用いて非局所情報を活用してセグメンテーションマスクを洗練。
• ROBE は RGB 領域へ拡張し、画像を再構成して背景を洗練させる。不確実な領域で前景/背景推定が衝突する箇所を歪みの生じる領域として特定。
• エンコーダ由来の意味特徴 E(C) を用いた補助的な RSS ベースの融合を組み込み、セグメンテーションを強化。
• マスクと背景の再構成を監督する再構成項と共に、セグメンテーション項（重み付き BCE と IoU、エッジの Dice）、および再構成項を含む損失を用いて訓練。

実験結果

リサーチクエスチョン

• RQ1 マスク領域と RGB 領域の両方に適用した場合、COS に可逆モデリングは有益になり得るか？
• RQ2 モデルベースの最適化をマルチステージネットワークへ展開することで、露出対象のセグメンテーション精度と頑健性は向上するか？
• RQ3 再構成駆動の歪み認識を通じて不確実な領域へ明示的に焦点を当てることの影響はどうか？

主な発見

• RUN はカモフラージュ対象検出や関連する高次視覚タスクを含む複数の COS タスクで優れた性能を達成。
• 既存手法と組み合わせて COS パフォーマンスを向上させるプラグアンドプレイのフレームワークを提供。
• 進行的な各ステージにより、マスク領域と RGB 領域の前景と背景の可逆モデリングを実現し、不確かな領域への注意を導き、偽陽性/偽陰性を減少。
• RSS およびデュアル VSS モジュールは、非局所的かつ多段スケールの情報取得を可能にし、不確かな境界を洗練。
• このアーキテクチャは COD 関連ベンチマークおよび関連セグメンテーションタスクで複数のベースラインを上回る成績を示す。