[論文レビュー] EdgeFlow: Achieving Practical Interactive Segmentation with Edge-Guided Flow

Yuying Hao, Yi Liu+9 more|arXiv (Cornell University)|Sep 20, 2021

Advanced Neural Network Applications参考文献 45被引用数 6

ひとこと要約

EdgeFlowは、エッジガイドドフローとイ早急融合を活用した革新的なインタラクティブセグメンテーションアーキテクチャを提案する。ユーザーのクリックインタラクションを向上させ、後処理を必要とせず最先端の性能を達成する。粗いから細かい段階へのネットワークを採用し、以前の予測からの動的エッジプライオリティを活用することで、最小限のクリックで高速かつ安定かつ正確なセグメンテーションを実現。バークレー・データセットではたった5クリックで96.9%のIoUを達成した。

ABSTRACT

High-quality training data play a key role in image segmentation tasks. Usually, pixel-level annotations are expensive, laborious and time-consuming for the large volume of training data. To reduce labelling cost and improve segmentation quality, interactive segmentation methods have been proposed, which provide the result with just a few clicks. However, their performance does not meet the requirements of practical segmentation tasks in terms of speed and accuracy. In this work, we propose EdgeFlow, a novel architecture that fully utilizes interactive information of user clicks with edge-guided flow. Our method achieves state-of-the-art performance without any post-processing or iterative optimization scheme. Comprehensive experiments on benchmarks also demonstrate the superiority of our method. In addition, with the proposed method, we develop an efficient interactive segmentation tool for practical data annotation tasks. The source code and tool is avaliable at https://github.com/PaddlePaddle/PaddleSeg.

研究の動機と目的

• 画像セグメンテーションにおけるピクセル単位のアノテーションコストを低減するため、最小限のユーザークリックで効率的かつ正確なインタラクティブラベリングを可能にすること。
• 既存のクリックベースのインタラクティブセグメンテーションモデルにおける不安定さと特徴の希釈を、ネットワーク層全体にわたるユーザーインタラクションのより良い統合によって解決すること。
• 以前の予測からの動的に更新されるエッジマスクを事前情報として組み込むことで、セグメンテーションの安定性と正確性を向上させること。
• リアルタイム推論、ポリゴン編集、多様なフォーマット出力に対応する実用的で効率的なアノテーションツールの開発

提案手法

• EdgeFlowは、粗い段階（CoarseNet：HRNet-18+OCR）と細かい段階（FineNet：3段のアトラス畳み込みブロック）を備えた粗いから細かい段階へのネットワークを採用し、高解像度でのセグメンテーションマスクを精緻化する。
• イ早急融合戦略を用いて、ユーザーのクリック特徴を早期層と後期層の両方に埋め込むエッジガイドドフロー（EF）を導入し、特徴の希釈を低減する。
• 現在のクリックのための動的プライオリティ入力として、以前の予測からのエッジマスクを用いることで、連続クリック間での安定性を向上させる。
• エッジマスクはネットワーク自身が生成するため、各クリックごとに段階的にオブジェクト境界が洗練されるフィードバックループが構築される。
• 後処理や反復最適化を回避することで、インタラクティブアノテーション中にリアルタイム推論を実現する。
• EdgeFlowに基づくインタラクティブセグメンテーションツールを構築し、クリックベースのラベリング、しきい値調整、連結成分フィルタリング、ポリゴン頂点編集による正確性の向上を支援する。

実験結果

リサーチクエスチョン

• RQ1 インタラクティブセグメンテーションモデルは、深層ネットワークの各層にわたり、ユーザーのクリック情報をどのようによりよく保持・活用できるか？ これにより特徴の希釈を回避できるか？
• RQ2 以前の予測からの動的に更新されるエッジマスクは、インタラクティブ環境におけるセグメンテーションの安定性と正確性をどの程度向上できるか？
• RQ3 反復最適化や後処理を一切行わない単一段階のエンドツーエンドアーキテクチャが、インタラクティブセグメンテーションでSOTAの性能を達成できるか？
• RQ4 エッジガイドドフローと粗いから細かい段階への精緻化の統合は、多様なベンチマークおよび実世界のアノテーションタスクにおいて性能にどのように影響を与えるか？

主な発見

• EdgeFlowはバークレー・データセットでたった5クリックで96.9%の平均IoUを達成し、インタラクティブセグメンテーションにおける高い正確性と効率性を示した。
• 10クリックでバークレーで97.0%のIoUに到達し、ユーザー入力に対して強い収束性と耐性を示した。
• FineNetの追加により、NoC@85およびNoC@90の指標が顕著に向上し、粗いから細かい段階への設計の有効性が裏付けられた。
• 以前の予測からのエッジマスク（EIマスク）を用いることで、固定のSobelベースのエッジマスク（SIマスク）を上回る性能を示し、動的で文脈に適応したプライオリティの価値を実証した。
• エッジガイドドフロー・モジュールにより、出力の分散が低減され、連続クリック間での予測が安定化し、アノテーションの信頼性が向上した。
• 開発されたインタラクティブツールは、ポリゴン編集と多様なフォーマットでのエクスポートを可能とし、実世界のデータラベリングパイプラインにおける実用性を高めた。