[論文レビュー] Tree Energy Loss: Towards Sparsely Annotated Semantic Segmentation

Zhiyuan Liang, Tiancai Wang+3 more|arXiv (Cornell University)|Mar 21, 2022

Advanced Neural Network Applications被引用数 4

ひとこと要約

本稿では、スパarsely annotatedなセマンティックセグメンテーションのための新しい損失関数であるTree Energy Loss (TEL) を提案する。TELは、最小全域木（MST）を用いて低レベル（色）および高レベル（特徴）の類似度をモデル化し、未ラベルピクセルのための動的で粗い段階から細かい段階へのソフトプシーオラベルの生成を可能にする。TELは、マルチステージ学習、追加データ、または後処理を必要とせず、点、スクラッチ、ブロック別アノテーション設定のすべてにおいて最先端の性能を達成し、先行手法よりも最大7.3%のmIoU向上を達成した。

ABSTRACT

Sparsely annotated semantic segmentation (SASS) aims to train a segmentation network with coarse-grained (i.e., point-, scribble-, and block-wise) supervisions, where only a small proportion of pixels are labeled in each image. In this paper, we propose a novel tree energy loss for SASS by providing semantic guidance for unlabeled pixels. The tree energy loss represents images as minimum spanning trees to model both low-level and high-level pair-wise affinities. By sequentially applying these affinities to the network prediction, soft pseudo labels for unlabeled pixels are generated in a coarse-to-fine manner, achieving dynamic online self-training. The tree energy loss is effective and easy to be incorporated into existing frameworks by combining it with a traditional segmentation loss. Compared with previous SASS methods, our method requires no multistage training strategies, alternating optimization procedures, additional supervised data, or time-consuming post-processing while outperforming them in all SASS settings. Code is available at https://github.com/megvii-research/TreeEnergyLoss.

研究の動機と目的

• ポイント、スクラッチ、またはブロックによる最小限のアノテーションでの正確なセマンティックセグメンテーションモデルの学習という課題に対処すること。
• 既存のSASS手法の制限、すなわち補助タスクへの依存、時間のかかる提案、不一致な正則化および一貫性学習の問題を克服すること。
• ラベルなしピクセルを用いたオンライン自己学習を可能にする、動的で一貫性のあるエンドツーエンドのフレームワークを統合的に提供すること。
• 異なるアノテーションのスパarsityレベルでの性能評価と段階的評価をより良く行うために、ブロック別アノテーション設定を導入すること。

提案手法

• 画像の色（RGB）と深層畳み込みニューラルネットワーク（CNN）特徴量からそれぞれ最小全域木（MST）を構築し、低レベルおよび高レベルのピクセル類似度をモデル化する。
• MST構造を用いて、類似度が低いエッジを段階的に削除することで、類似度行列における重要なピクセル関係を保持し、構造的一致性を確保する。
• MSTパスに沿ったエッジ重みの蓄積により類似度行列を生成し、局所的およびグローバルな文脈的関係を捉える。
• 段階的なフィルタリング機構を適用：まず低レベル類似度で予測を精緻化し、その後に高レベル類似度でさらに精緻化することで、より正確なソフトプシーオラベルを生成する。
• 1段階学習設定において、木エネルギー損失と標準的な交差エントロピー分類損失を組み合わせ、オンライン自己学習を可能にする。
• 既存のセグメンテーションネットワークに最小限の変更で統合可能であり、即挿し可能で計算効率が良い。

実験結果

リサーチクエスチョン

• RQ1 最小全域木は、スパースセマンティックセグメンテーションにおけるソフトプシーオラベル生成を支援する低レベルおよび高レベルの類似度を効果的にモデル化できるか？
• RQ2 MSTに基づく類似度を用いた段階的で粗い段階から細かい段階へのプシーオラベルの精緻化は、同時に処理するか、順次処理する場合と比較して、セグメンテーション性能を向上させるか？
• RQ3 TELは、マルチステージ学習、追加の教師ありデータ、または複雑な後処理を必要とせずに最先端の性能を達成できるか？
• RQ4 提案されたブロック別アノテーション設定は、ポイントおよびスクラッチ別設定と比較して、SASS手法の評価においてどのように異なるか？

主な発見

• TELは、マルチステージ学習や外部データを必要とせず、ポイント、スクラッチ、ブロックアノテーションのすべてのSASS設定で最先端の性能を達成した。
• Pascal VOC 2012 データセットにおいて、訓練中、ベースライン比でmIoUが7.3%向上した。これは、未ラベルデータからの強力な知識蒸留を示している。
• 非局所（Non-Local）ベースの高レベル類似度よりも1.7%高いmIoUを達成し、優れた特徴レベル類似度モデル化を示している。
• 段階的集約戦略（LH-C）は、並列処理や他の段階的変種を上回り、粗い段階から細かい段階への予測の精緻化の利点を確認した。
• ハイパーパramータ感度分析の結果、λ = 0.4 および σ = 0.02 が最適な性能をもたらし、σ値に対しては最小限の感度を示した。
• 訓練の初期段階で、プシーオラベルの精度がネットワーク予測の精度を上回っており、効果的で信頼性の高い自己教師付き学習が実現していることが示された。