[論文レビュー] Weighted Intersection over Union (wIoU) for Evaluating Image Segmentation

Yeong-Jun Cho|arXiv (Cornell University)|Jul 21, 2021

Advanced Neural Network Applications参考文献 32被引用数 14

ひとこと要約

本稿では、境界重要度要因を用いてオブジェクト境界からの距離に応じて画素に適応的な重みを割り当てる画像セグメンテーションのための新しい評価指標、重み付き交差率（wIoU）を提案する。領域と境界の評価を統合した柔軟な指標として、重みパラメータに応じて標準IoUと境界中心の指標（例：F1スコア）との強い相関を示し、感受性の高いハイパーパrameterに依存せずに、直感的で調整可能な評価フレームワークを提供する。

ABSTRACT

In recent years, many semantic segmentation methods have been proposed to predict label of pixels in the scene. In general, we measure area prediction errors or boundary prediction errors for comparing methods. However, there is no intuitive evaluation metric that evaluates both aspects. In this work, we propose a new evaluation measure called weighted Intersection over Union (wIoU) for semantic segmentation. First, it builds a weight map generated from a boundary distance map, allowing weighted evaluation for each pixel based on a boundary importance factor. The proposed wIoU can evaluate both contour and region by setting a boundary importance factor. We validated the effectiveness of wIoU on a dataset of 33 scenes and demonstrated its flexibility. Using the proposed metric, we expect more flexible and intuitive evaluation in semantic segmentation field are possible.

研究の動機と目的

• セマンティックセグメンテーションにおいて、領域の正確さと境界の正確さの両方を同時に捉える統一された評価指標の欠如に対処すること。
• すべての画素を同等に扱う標準IoUの限界を克服し、距離許容範囲パラメータに強く依存するF1スコアのような境界専用指標の限界を克服すること。
• 境界からの距離に応じて画素に重みを割り当てることで、パラメータフリーの直感的で柔軟な評価を可能にする指標の開発。
• 33のシーンからなる制御されたデータセットを用いて、多様なセグメンテーション結果における指標の柔軟性と有効性を検証すること。
• wIoUがセグメンテーションネットワークの訓練損失関数としての可能性を検討すること。

提案手法

• 境界距離マップから重みマップを生成し、各画素の重みは境界からの近接度に応じて増加する。
• 境界重要度要因αが境界画素の相対的な重みを制御する：αが小さい値の場合は領域の正確さが優先され（IoUに類似）、αが大きい値の場合は境界の正確さが強調される。
• wIoUスコアは、各画素の寄与が対応する重みマップの値でスケーリングされた交差率の重み付き平均として計算される。
• 重みマップは、正解セグメンテーションマスクのL1距離変換から導出され、空間的に意識された重み付けが保証される。
• 指標は微分可能であり、ディープラーニングの訓練パイプラインと互換性があるため、将来的に損失関数としての利用が可能である。
• 境界感度を重みマップ内に直接組み込むことで、境界F1スコアにおけるθのようなチューニングパラメータに依存しない。

実験結果

リサーチクエスチョン

• RQ1 1つの評価指標が、セマンティックセグメンテーションにおける領域ベースと境界ベースのパフォーマンスを効果的にバランスできるか？
• RQ2 変動するセグメンテーション結果において、提案されたwIoU指標が標準IoUおよび境界中心の指標（例：F1スコア）とどの程度相関しているか？
• RQ3 境界重要度要因αが指標の挙動とさまざまな種類の誤り（例：境界付近の誤検出）に対する感受性にどの程度影響を与えるか？
• RQ4 誤りの空間的分布が変化しても誤り総数が一定のままである場合、wIoUは評価の一貫性を保っているか？
• RQ5 wIoUは、評価およびセグメンテーションモデルの訓練において、既存の指標の代替または補完として実用的か？

主な発見

• 低境界重要度要因（α = 0.01）のwIoUは、標準IoUと相関係数0.98を示し、領域ベースの評価と整合性があることを確認した。
• 高境界重要度要因（α = 100）のwIoUは、エッジベースのF1スコアと相関係数0.95を達成し、境界中心の指標と強い整合性を示した。
• wIoU（α = 100）とエッジベースのF1スコアの差の合計は0.048にとどまり、他の指標と比較して顕著に低く、順位付けの類似性が高かった。
• 誤り数は同一だが空間的分布が異なるテスト画像において、wIoU（α = 1）は異なるスコアを出力し、誤り位置への感受性と意味のある差別化を示した。
• 同じ誤り数のテスト画像において、エッジベースのF1スコアは0.5843から0.936まで大きく変動し、その不安定さと予測レイアウトへの感受性が顕著に表れた。
• 結果から、wIoUは堅牢な評価指標として機能するだけでなく、セグメンテーションネットワークの訓練における有望な領域-輪郭損失関数としても期待できることが示唆された。