[論文レビュー] A Survey on Label-efficient Deep Image Segmentation: Bridging the Gap between Weak Supervision and Dense Prediction

Wei Shen, Zelin Peng+7 more|arXiv (Cornell University)|Jul 4, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本サーベイは、弱い教師信号（例：バウンディングボックス、スクラッチ、画像レベルラベル）と密度の高いピクセル単位の予測を橋渡しするラベル効率的ディープ画像セグメンテーション手法の包括的な分類体系を提示する。弱い教師信号の種別とセグメンテーションタスクごとに既存のアプローチを体系化し、クロスピクセル類似性やクロスビュー一貫性といった重要なインダクティブバイアスを特定し、視覚変換器やテキスト教師付きゼロショットセグメンテーションを含む今後の方向性を提示する。

ABSTRACT

The rapid development of deep learning has made a great progress in image segmentation, one of the fundamental tasks of computer vision. However, the current segmentation algorithms mostly rely on the availability of pixel-level annotations, which are often expensive, tedious, and laborious. To alleviate this burden, the past years have witnessed an increasing attention in building label-efficient, deep-learning-based image segmentation algorithms. This paper offers a comprehensive review on label-efficient image segmentation methods. To this end, we first develop a taxonomy to organize these methods according to the supervision provided by different types of weak labels (including no supervision, inexact supervision, incomplete supervision and inaccurate supervision) and supplemented by the types of segmentation problems (including semantic segmentation, instance segmentation and panoptic segmentation). Next, we summarize the existing label-efficient image segmentation methods from a unified perspective that discusses an important question: how to bridge the gap between weak supervision and dense prediction -- the current methods are mostly based on heuristic priors, such as cross-pixel similarity, cross-label constraint, cross-view consistency, and cross-image relation. Finally, we share our opinions about the future research directions for label-efficient deep image segmentation.

研究の動機と目的

• ディープ画像セグメンテーションにおけるピクセル単位のアノテーションの高コストと人的労力の問題を軽減するため、ラベル効率的学習を可能にする。
• 弱い教師付き、半教師付き、自己教師付き画像セグメンテーション手法に関する急速に増加する研究を体系化する。
• 弱い教師信号と密度の高い予測を結ぶ共通のフレームワークの下で、多様なラベル効率的手法を統一する。
• 最先端のアプローチに共通して用いられる重要なインダクティブバイアス（例：クロスピクセル類似性、クロスビュー一貫性、クロス画像関係）を特定する。
• 今後の研究方向性を提示する。視覚変換器、テキスト教師付きゼロショットセグメンテーション、および混合アノテーションを用いたライフランニング学習を含む。

提案手法

• 弱い教師信号の種別を階層的に分類：教師なし、不正確、不完全、不正確な教師信号。
• セグメンテーションタスクに応じて分類：セマンティックセグメンテーション、インスタンスセグメンテーション、パンセグメンテーション。
• ラベル効率的モデルで用いられる核心的なインダクティブバイアスを特定・分析：クロスピクセル類似性、クロスラベル制約、クロスビュー一貫性、クロス画像関係。
• 代表的な手法（例：MaskContrast、STEGO、PseudoSeg、ADELE）を各教師信号タイプごとにレビューし、設計原理を説明。
• 自己教師付き事前学習（例：DINO、MAE、BEiT）が弱い教師付きセグメンテーションのための擬似ラベル生成を可能にする仕組みを分析。
• 構造的なインダクティブバイアスを通じて、弱い教師信号と密度の高い予測のギャップを埋める統一的視点を提唱。

実験結果

リサーチクエスチョン

• RQ1 画像レベルラベル、バウンディングボックス、スクラッチなどの弱い教師信号の種別を、ラベル効率的セグメンテーションにおける手法設計を支援するように体系的に分類できるか？
• RQ2 弱い教師信号から密度の高いピクセル単位の予測へと知識蒸留を効果的に行うために、どのような主要なインダクティブバイアスが寄与しているか？
• RQ3 クロスピクセル類似性、クロスビュー一貫性、クロス画像関係は、弱い教師信号下でのセグメンテーション精度向上にどのように寄与しているか？
• RQ4 現在のラベル効率的セグメンテーション手法の主な限界は何か。新しいアーキテクチャーや事前学習パラダイムによってそれらはどのように克服できるか？
• RQ5 視覚変換器、ゼロショットセグメンテーション、ライフランニング学習といった今後の研究方向性の中で、密度予測タスクにおけるラベル効率性を飛躍的に向上させる可能性を秘めているのはどれか？

主な発見

• 自己教師付き視覚変換器（例：DINO、MAE、iBoTで事前学習されたViT）は、高品質な注目マップを生成し、弱い教師付きセグメンテーションのための信頼性の高い擬似ラベルとして利用可能である。
• クロスピクセル類似性とクロスビュー一貫性を活用する手法（例：STEGO、PseudoSeg）は、最小限の教師信号で弱い教師付きセマンティックセグメンテーションベンチマークで優れた性能を達成している。
• 視覚変換器ベースのモデル（例：MCTFormer、CLIMS）は、CNNに比べて長距離依存関係をより効果的にモデル化できることで、弱い教師付きセマンティックセグメンテーションで性能が向上している。
• CLIP風のテキスト・画像アライメントを用いたゼロショットセグメンテーションは有望な方向性であるが、現在の手法は類似クラスの事前学習に依存しており、真のゼロショット一般化には至っていない。
• ノイズのあるラベルからのインスタンスセグメンテーションや、不完全なラベルからのパンセグメンテーションといった未解決の問題は、依然として開かれており、顕著な研究可能性を示している。
• バウンディングボックス、スクラッチ、画像レベルラベルなどの混合アノテーションタイプを用いたライフランニング学習は、今後の重要な方向性であり、新たなベンチマークと統合的評価フレームワークの開発が求められる。