[論文レビュー] Label-efficient Segmentation via Affinity Propagation

Wentong Li, Yuqian Yuan+6 more|arXiv (Cornell University)|Oct 16, 2023

Advanced Computing and AlgorithmsSocial Sciences被引用数 3

ひとこと要約

本論文では、アフィニティプロパゲーションプロセスとしてアフィニティモデリングを定式化し、グローバルおよびローカルのペアワイズアフィニティ項を用いて正確なソフト仮ラベルを生成する、ラベル効率の良いセグメンテーション手法AProを提案する。トポロジーに配慮したグラフ伝搬と、効率的なO(N log N)実装を活用することで、ボックススパークリングされたインスタンスセグメンテーション、ポイント/スクリッチスパークリングされたセマンティックセグメンテーション、CLIPガイド付きセマンティックセグメンテーションの3つのタスクにおいて、顕著に低い計算コストで最先端の性能を達成する。

ABSTRACT

Weakly-supervised segmentation with label-efficient sparse annotations has attracted increasing research attention to reduce the cost of laborious pixel-wise labeling process, while the pairwise affinity modeling techniques play an essential role in this task. Most of the existing approaches focus on using the local appearance kernel to model the neighboring pairwise potentials. However, such a local operation fails to capture the long-range dependencies and ignores the topology of objects. In this work, we formulate the affinity modeling as an affinity propagation process, and propose a local and a global pairwise affinity terms to generate accurate soft pseudo labels. An efficient algorithm is also developed to reduce significantly the computational cost. The proposed approach can be conveniently plugged into existing segmentation networks. Experiments on three typical label-efficient segmentation tasks, i.e. box-supervised instance segmentation, point/scribble-supervised semantic segmentation and CLIP-guided semantic segmentation, demonstrate the superior performance of the proposed approach.

研究の動機と目的

• 弱い教師ありセグメンテーションにおける長距離依存関係およびオブジェクトトポロジーを捉えるのに限界を示すローカルな外観カーネルの問題を解決すること。
• グローバルアフィニティモデリングにおける計算コストを削減しつつ、細粒度のセマンティック関係を保持すること。
• 既存のセグメンテーションネットワークに最小限のアーキテクチャ変更で統合可能なプラグイン型コンponentsを開発すること。
• グローバルおよびローカルのアフィニティプロパゲーションを用いて、ラベル効率の良いセグメンテーションタスクの仮ラベル品質を向上させること。

提案手法

• 弱い教師ありセグメンテーションを一元的なアフィニティプロパゲーションプロセスとして定式化し、反復的にソフト仮ラベルを最適化する。
• トポロジーに配慮したツリー型グラフを用いたグローバルペアワイズアフィニティ項を導入し、局所的近傍を越えた長距離依存関係をモデル化する。
• 予測の空間的整合性とピecewise smoothnessを強制するためのローカルペアワイズアフィニティ項を開発する。
• O(N²)のブルートフォース計算を置き換えるために、効率的なO(N log N)アルゴリズムを採用し、実用的なデプロイメントを可能にする。
• グローバルおよびローカルのアフィニティプロパゲーションを並列または逐次カスケードで組み合わせ、補完的な仮ラベルを生成する。
• スパースアノテーションを用いたエンドツーエンドのトレーニングに対応するため、AProモジュールを既存のセグメンテーションネットワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 弱い教師ありセグメンテーションにおいて、アフィニティプロパゲーションがローカルおよびグローバルなペアワイズ関係を効果的にモデル化できるか？
• RQ2 トポロジーに配慮したグラフ構造を組み込むことで、ローカルな外観カーネルと比較して長距離アフィニティモデリングがどのように向上するか？
• RQ3 効率的なO(N log N)実装は、グローバルアフィニティプロパゲーションにおける計算コストを著しく削減しながらも、高い正確性を維持できるか？
• RQ4 グローバルおよびローカルのアフィニティ項は、高品質なソフト仮ラベルを生成するためにどのように補い合うか？
• RQ5 AProは、ボックススパークリング、ポイント/スクリッチスパークリング、CLIPガイド付きセグメンテーションを含む、多様なラベル効率の良いセグメンテーションタスクにどの程度一般化可能か？

主な発見

• 提案されたAPro手法は、ボックススパークリングされたインスタンスセグメンテーションにおいてPascal VOCデータセットで38.4%のマスクAPを達成し、先行手法を上回る性能を示した。
• グローバルおよびローカルのペアワイズ項を並列に使用したGP-LP-Pアプローチが最良の性能を示し、両者の補完的性質を裏付けた。
• 効率的な実装により、平均実行時間がO(N²)の4,300 msからO(N log N)の0.8 msにまで短縮され、リアルタイム推論が可能になった。
• MeanFieldベースの手法と比較して、AProはより速く収束し、20イテレーションで36.0%のAPを達成したのに対し、同等の性能を得るには100イテレーションを要した。
• アブレーションスタディの結果、グローバルおよびローカルのアフィニティ項の両方が不可欠であり、特にグローバル項が性能向上に最も寄与することが確認された。
• 本手法は、ボックススパークリング、ポイント/スクリッチスパークリング、CLIPガイド付きのアノテーションフリーなセマンティックセグメンテーションを含む3つの異なるタスクにわたり、良好な一般化性能を示し、強力な転送性を示した。