[論文レビュー] EISeg: An Efficient Interactive Segmentation Tool based on PaddlePaddle

Yuying Hao, Yi Liu+8 more|arXiv (Cornell University)|Oct 17, 2022

Advanced Neural Network Applications被引用数 22

ひとこと要約

EISegはPaddlePaddle上で構築された、効率的な対話型画像（および動画/3D）セグメンテーションツールを提示します。ドメイン特化モデルとエッジガイドの早-遅融合アーキテクチャを備え、最小限のユーザー入力で正確なマスクを実現します。画像、動画、3D医用画像のサポート、簡単なインストールと柔軟なUIを含みます。

ABSTRACT

In recent years, the rapid development of deep learning has brought great advancements to image and video segmentation methods based on neural networks. However, to unleash the full potential of such models, large numbers of high-quality annotated images are necessary for model training. Currently, many widely used open-source image segmentation software relies heavily on manual annotation which is tedious and time-consuming. In this work, we introduce EISeg, an Efficient Interactive SEGmentation annotation tool that can drastically improve image segmentation annotation efficiency, generating highly accurate segmentation masks with only a few clicks. We also provide various domain-specific models for remote sensing, medical imaging, industrial quality inspections, human segmentation, and temporal aware models for video segmentation. The source code for our algorithm and user interface are available at: https://github.com/PaddlePaddle/PaddleSeg.

研究の動機と目的

• ピクセルレベルの画像セグメンテーションにかかる高いアノテーションコストに対処するため、少数のクリックで正確なマスクを提供する対話型で使いやすいツールを提供します。
• ドメイン特化のセグメンテーションモデル（リモートセンシング、医用画像、産業QA）と、ビデオ対応・3D対応の拡張機能を提供し、さまざまな適用ニーズをカバーします。
• 簡単なインストール体験と、学習コストを下げるシンプルでカスタマイズ可能なUIを提供します。

提案手法

• RITMとEdgeFlowを用いた対話型セグメンテーションを活用し、エッジガイドフローと早-遅融合アーキテクチャで、ネットワークの深さにわたってROI情報を保持します。
• エッジ priorsとユーザークリック（正/負）を用いてCoarseNetで粗いマスクを生成し、二段階プロセスでFineNetでそれを精細化します。
• 多角形ベースの注釈をサポートし、ドメイン特化ツール（リモートセンシング、医用画像、産業QA）を統合し、大規模画像にはパッチ処理で対応します。
• メモリーバンクベースの伝播と統合モデルを用いてフレーム間でマスクを伝搬させ、対立を解決する動画セグメンテーションパイプラインを実装します。
• ドメイン特化モデル（drivable space、abdominal organs、spine、industrial defects、building segmentation）を提供し、2D/3Dの医用画像および動画注釈をサポートします。

実験結果

リサーチクエスチョン

• RQ1 最小限のユーザー入力で、さまざまな画像ドメインに対して対話型セグメンテーションをより高速かつ堅牢にするにはどうすればよいですか？
• RQ2 エッジガイド型の早-遅融合アプローチは、ユーザーが複数回対話する場合に、セグメンテーションマスクの安定性と精度を向上させることができますか？
• RQ3 対話型注釈ツールにおける、異なる業界（リモートセンシング、医用画像、産業QA、動画）向けのドメイン特化モデルの利点は何ですか？
• RQ4 対話型セグメンテーションを動画および3D医用画像にどれくらい効果的に拡張しつつ、ユーザーフレンドリーな対話を維持できますか？

主な発見

• 提案手法は、複数の対話型セグメンテーションベンチマークで最先端の性能を達成し、ユーザークリックの増加に伴いIoUが安定して向上します。
• エッジ情報と早-遅融合は、ネットワークの深さが増してもROI情報の消失を防ぎ、高いIoUを得るために必要なクリック数を減らします。
• ドメイン特化モデルは、対象アプリケーション（リモートセンシング、医用画像、産業QA）の性能を向上させ、大規模画像の処理と3Dデータをサポートします。