[論文レビュー] Active Boundary Loss for Semantic Segmentation

Chi Wang, Yunke Zhang+7 more|arXiv (Cornell University)|Feb 4, 2021

Advanced Neural Network Applications被引用数 6

ひとこと要約

本稿では、エンドツーエンド学習中に予測境界を真値境界へ動的に誘導するモデルに依存しない微分可能損失、Active Boundary Loss (ABL) を提案する。境界整合性を方向ベクトル予測問題としてモデル化することで、画像および動画データセットにおいて、特に細い・小さな物体に対して境界FスコアとmIoUを向上させ、交差エントロピー、IoU、および先行する境界損失を上回る性能を発揮する。

ABSTRACT

This paper proposes a novel active boundary loss for semantic segmentation. It can progressively encourage the alignment between predicted boundaries and ground-truth boundaries during end-to-end training, which is not explicitly enforced in commonly used cross-entropy loss. Based on the predicted boundaries detected from the segmentation results using current network parameters, we formulate the boundary alignment problem as a differentiable direction vector prediction problem to guide the movement of predicted boundaries in each iteration. Our loss is model-agnostic and can be plugged in to the training of segmentation networks to improve the boundary details. Experimental results show that training with the active boundary loss can effectively improve the boundary F-score and mean Intersection-over-Union on challenging image and video object segmentation datasets.

研究の動機と目的

• セマンティックセグメンテーションにおけるぼやけた・不正確な境界、特に小さな・細い物体に対して継続的に発生する問題に対処すること。
• 標準的なピxls単位分類を越えて、予測境界と真値境界の整合性を明示的に促進する訓練損失を開発すること。
• 現在のネットワーク予測に基づいて学習中に適応する微分可能で動的な損失を構築すること。
• ネットワークアーキテクチャや推論パイプラインを変更せずにセグメンテーション品質を向上させること。
• 画像および動画セグメンテーションタスクにわたる汎用性を示すこと。DeepLabV3、OCR、SwinTransformer、STM といった最先端モデルを含む。

提案手法

• ABLは、境界整合性を微分可能で方向ベクトル予測問題として定式化し、各予測境界画素を最も近い真値境界画素へ向かって移動させる。
• 各予測境界画素の方向ベクトルを決定するために、真値境界に対して距離変換を用いた境界距離マップを計算する。
• 勾配逆伝播中に勾配が流れるように、予測境界を方向ベクトルに沿って確率的移動させる。
• 最適化中の潜在的競合を抑えるために、境界予測ブランチからの勾配フローを分離する。
• 訓練の安定化と境界品質の向上を目的に、交差エントロピーおよびLovász-Softmaxなどの標準損失と組み合わせて使用する。
• モデルに依存しないため、アーキテクチャの変更なしに既存のセグメンテーションネットワークにスムーズに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 微分可能で動的な損失が、後処理に依存せずにセマンティックセグメンテーションにおける境界整合性を改善できるか？
• RQ2 Boundary Loss やIoUベースの損失と比較して、ABLは境界FスコアおよびmIoUの観点でどのように性能を発揮するか？
• RQ3 ABLは、境界ぼやけやすいために問題となる小さな・細い物体のセグメンテーション性能を効果的に向上させられるか？
• RQ4 ABLは、CNNおよびTransformerを含むさまざまなアーキテクチャにおいて、画像および動画セグメンテーションの両方で汎用性を示せるか？
• RQ5 交差エントロピーおよびLovász-Softmaxなどの他の損失と組み合わせることで、ABLは訓練の安定性と境界の詳細性を向上させられるか？

主な発見

• Cityscapes検証セットにおいて、標準的な交差エントロピー損失と比較して、ABLを用いた学習により、平均交差率（mIoU）が0.7%向上し、境界Fスコアが1.0%向上した。
• DAVIS-2016動的オブジェクトセグメンテーションベンチマークにおいて、STMをABLで微調整した結果、領域類似度指標（J-mean）が0.7%向上し、輪郭精度（F-mean）が1.0%向上した。
• WMHデータセットでは、ABLがDSC 0.768、Hausdorff距離（HD）0.980を達成し、境界損失を用いたベースラインを上回った。
• 定性的な比較では、信号機や自転車のテールランプのような細い物体に対して、ABLはより鋭い境界を生成し、予測境界が真値エッジへ段階的に一致する様子が観察された。
• DeepLabV3、OCR、SwinTransformer、STM といった多様なモデルにおいて、ABLは一貫して性能向上を示し、汎用性とプラグアンドプレイ性を実証した。
• 特に境界付近では、先行手法が弱い監視信号に起因して問題を抱える領域において、ABLはBoundary Loss やIoUベースの損失を上回る境界整合性を達成した。