[論文レビュー] Getting to 99% Accuracy in Interactive Segmentation

Marco Forte, Brian Price+3 more|arXiv (Cornell University)|Mar 17, 2020

Advanced Neural Network Applications参考文献 38被引用数 28

ひとこと要約

本論文は、ユーザーのインタラクションを段階的な編集としてモデル化し、二重ストリーム（画像およびインタラクション）U-Netとガイドフィルタリングを用いることで、20回のクリックでGrabCutデータセットで99%のmIoU精度を達成する、インタラクティブ画像セグメンテーションのための新規ディープラーニングアーキテクチャおよびトレーニング戦略を提案する。さらに、微細な境界に焦点を当てた高品質な合成データセットを活用することで性能を向上させる。

ABSTRACT

Interactive object cutout tools are the cornerstone of the image editing workflow. Recent deep-learning based interactive segmentation algorithms have made significant progress in handling complex images and rough binary selections can typically be obtained with just a few clicks. Yet, deep learning techniques tend to plateau once this rough selection has been reached. In this work, we interpret this plateau as the inability of current algorithms to sufficiently leverage each user interaction and also as the limitations of current training/testing datasets. We propose a novel interactive architecture and a novel training scheme that are both tailored to better exploit the user workflow. We also show that significant improvements can be further gained by introducing a synthetic training dataset that is specifically designed for complex object boundaries. Comprehensive experiments support our approach, and our network achieves state of the art performance.

研究の動機と目的

• 90–95% mIoUの範囲でパフォーマンスの plateau に陥るディープラーニングベースのインタラクティブセグメンテーションツールの課題を解決し、プロフェッショナルなフォトエディティングワークフローでの利用を可能にする。
• 現在のモデルが、初期の粗い選択後のローカルな微調整に特に効果的にユーザーのインタラクションを活用できないという制限を克服する。
• 静的なクリック集合ではなく、是正クリックの系列としてインタラクティブ編集プロセスをモデル化することで、99%を超えるセグメンテーション精度を実現する。
• 複雑な境界に特化した合成トレーニングデータが、実世界のベンチマークでの性能を顕著に向上させることを示す。
• 微細なディテールを保持するフル解像度のネットワークアーキテクチャを開発し、芸術家が正確で予測可能な予測を実現できるようにする。

提案手法

• 画像特徴とユーザーのインタラクションの手がかり（クリック）のための別々のエンコーディングストリームを備えた、エンドツーエンドでトレーニング可能な単一のU-Netベースアーキテクチャを提案し、クリック情報のより良い伝搬を可能にする。
• デコーダーの後にガイドフィルターレイヤーを統合し、最終マスクを精緻にし、滑らかで高品質な透過予測を生成する。
• クリックを1つずつ追加する段階的トレーニング制御を実装し、実際のアーティストのワークフローをシミュレートし、是正編集からの学習を可能にする。
• 複雑なオブジェクトの境界に高品質かつ正確なグランドトゥルースを備えた合成データセットを設計・活用し、一般化性能と微細ディテール回復を向上させる。
• 2段階のトレーニング戦略を採用する：まず合成データで学習して境界ディテールを習得し、その後実データセットでファインチューニングして実画像の分布に適応させる。
• 実ベンチマーク（GrabCut、Berkeley、SBD）と合成データの組み合わせを用いて、多様な画像タイプにおけるロバストネスと一般化性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、現実的数のユーザークリックで、インタラクティブセグメンテーションにおいて99%のmIoU精度を達成できるか？
• RQ2 静的セットではなく、是正クリックの系列としてユーザーのインタラクションをモデル化することで、より良いパフォーマンスとより予測可能な結果が得られるか？
• RQ3 複雑な境界に特化した合成データセットは、実世界のベンチマークを超える精度向上に寄与するか？
• RQ4 フル解像度処理とガイドフィルタリングは、低解像度特徴抽出と比較して、微細ディテール回復にどの程度寄与するか？
• RQ5 粗いセグメンテーションと微調整を分離する二段階アーキテクチャと比較して、統合された1つのネットワークのパフォーマンスはどの程度優れているか？

主な発見

• 提案手法は、GrabCutデータセットの62%の画像において20クリック以内で99%のmIoU精度に達し、先行する最先端手法を顕著に上回る。
• 合成データセットで学習し、実データでファインチューニングしたモデルは、20クリック以内でGrabCutの74%の画像で99%のmIoUに到達し、微細ディテールに特化した合成データの有効性を示している。
• 段階的クリックトレーニング制御により、1～20回のクリックすべての段階で、ローカル補正への対応能力が向上し、mIoUが上昇した。
• 二重ストリームアーキテクチャ（画像ストリームとインタラクションストリーム）により、ユーザーフィードバックのより正確な伝搬が可能になり、誤差伝搬が低減され、ローカルな微調整が向上した。
• 合成データセットはSBDおよびBerkeleyベンチマークでも顕著な性能向上をもたらし、ファインチューニングと組み合わせることでmIoUが最大0.058ポイント向上した。
• モデルの予測はより予測可能で、繰り返し微調整がしやすく、従来手法と比較してプロフェッショナルなフォトエディティングワークフローでの利用に適している。