[論文レビュー] Fast Interactive Object Annotation with Curve-GCN

Huan Ling, Jun Gao+3 more|arXiv (Cornell University)|Mar 16, 2019

Advanced Neural Network Applications参考文献 36被引用数 26

ひとこと要約

本稿では、パラメトリック曲線を用いた高速でインタラクティブなオブジェクトアノテーションのための深層学習モデル、Curve-GCNを提案する。グラフ畳み込みネットワーク（GCN）を活用し、最小限のユーザー入力でオブジェクト境界を予測することで、自動およびインタラクティブなアノテーションモードにおいて高い正確性と効率性を達成しており、定量的および定性的な評価においてベースライン手法を上回る優れた性能を示している。

ABSTRACT

Manually labeling objects by tracing their boundaries is a laborious process. In Polygon-RNN++ the authors proposed Polygon-RNN that produces polygonal annotations in a recurrent manner using a CNN-RNN architecture, allowing interactive correction via humans-in-the-loop. We propose a new framework that alleviates the sequential nature of Polygon-RNN, by predicting all vertices simultaneously using a Graph Convolutional Network (GCN). Our model is trained end-to-end. It supports object annotation by either polygons or splines, facilitating labeling efficiency for both line-based and curved objects. We show that Curve-GCN outperforms all existing approaches in automatic mode, including the powerful PSP-DeepLab and is significantly more efficient in interactive mode than Polygon-RNN++. Our model runs at 29.3ms in automatic, and 2.6ms in interactive mode, making it 10x and 100x faster than Polygon-RNN++.

研究の動機と目的

• インタラクティブセグメンテーションタスクにおける遅く不正確なオブジェクトアノテーションの課題に対処すること。
• 最小限のユーザー提供ポイントを用いて、高速かつ正確なオブジェクト境界のアノテーションを可能にする手法を開発すること。
• 曲線ベースの表現とグラフ畳み込みネットワークを用いて、インタラクティブセグメンテーションモデルの一般化性能とロバスト性を向上させること。
• 制御点の数やユーザーのインタラクションシナリオの違いに応じたモデルの性能を評価すること。
• 独自に開発したツールとヒューマンインザループ実験を通じて、Curve-GCNの実世界のアノテーションワークフローにおける実現可能性と有効性を示すこと。

提案手法

• オブジェクト境界を定義するためにパラメトリック曲線表現を用い、滑らかで微分可能な境界予測を可能にする。
• 曲線の制御点に対してグラフ畳み込みネットワーク（GCN）を適用し、空間的および構造的関係を符号化する。
• ユーザーがクリックまたはスクリッチ入力を提供するのを受けて、最適な曲線パラメータを予測するように、エンドツーエンドでモデルを訓練する。
• 単一のクリックからの自動推論と、複数のクリックまたはストロークによるインタラクティブな最適化の両方をサポートする。
• 実際のヒューマンアノテーション例の収集と、インタラクティブな設定でのパフォーマンス検証を目的に、独自のアノテーションツールを開発した。
• 精度と効率性のバランスを確認するため、制御点の数を変化させた評価を通じて最適なトポロジーを同定した。

実験結果

リサーチクエスチョン

• RQ1 Curve-GCNは、ベースライン手法と比較して、アノテーションの速度と正確性の点でどの程度の性能を示すか？
• RQ2 最小限のユーザー入力で高いセグメンテーション正確性を達成するための最適な制御点の数は何か？
• RQ3 ヒューマンインザループフィードバックを伴うインタラクティブアノテーションシナリオにおいて、Curve-GCNはどの程度効果的か？
• RQ4 Curve-GCNは多様なオブジェクト形状や複雑な境界に対しても一般化可能か？
• RQ5 グラフ畳み込みネットワークの統合は、標準的な曲線フィッティング手法と比較して、境界予測の性能をどのように向上させるか？

主な発見

• Curve-GCNは、特に複雑な境界のシナリオにおいて、ベースラインモデルと比較して優れたセグメンテーション正確性を達成している。
• モデルは高い効率性を示しており、たとえ単一のクリックという最小限のユーザー入力でも、高速な推論が可能である。
• 適切な制御点の数を用いることで最適なパフォーマンスが得られ、正確性と計算コストのバランスが取れている。
• ヒューマンインザループ実験の結果、Curve-GCNは著しくアノテーション時間を短縮しながらも、高い正確性を維持していることが確認された。
• 定性的な結果から、Curve-GCNは多様なデータセットおよびユーザー入力に対し、滑らかで正確かつ現実的なオブジェクト境界を生成していることが示された。
• 補足資料により、複数の評価指標において、自動モードおよびインタラクティブモードの両方で一貫した性能向上が確認された。