[論文レビュー] Photo-Sketching: Inferring Contour Drawings from Images

Mengtian Li, Zhe Lin+3 more|arXiv (Cornell University)|Jan 2, 2019

Advanced Vision and Imaging参考文献 41被引用数 7

ひとこと要約

本論文では、人間によるアノテーションが施された輪郭スケッチの新しいデータセットを導入することで、自然画像から現実的な輪郭画を生成する学習ベースの手法を提案する。従来の境界検出器とは異なり、顕著な内部縁や遮蔽縁を捉えつつ、不完全なアノテーションのアライメントにも耐性を持ち、BSDS500で微調整した後、顕著境界検出において最先端の性能を達成する。

ABSTRACT

Edges, boundaries and contours are important subjects of study in both computer graphics and computer vision. On one hand, they are the 2D elements that convey 3D shapes, on the other hand, they are indicative of occlusion events and thus separation of objects or semantic concepts. In this paper, we aim to generate contour drawings, boundary-like drawings that capture the outline of the visual scene. Prior art often cast this problem as boundary detection. However, the set of visual cues presented in the boundary detection output are different from the ones in contour drawings, and also the artistic style is ignored. We address these issues by collecting a new dataset of contour drawings and proposing a learning-based method that resolves diversity in the annotation and, unlike boundary detectors, can work with imperfect alignment of the annotation and the actual ground truth. Our method surpasses previous methods quantitatively and qualitatively. Surprisingly, when our model fine-tunes on BSDS500, we achieve the state-of-the-art performance in salient boundary detection, suggesting contour drawing might be a scalable alternative to boundary annotation, which at the same time is easier and more interesting for annotators to draw.

研究の動機と目的

• 既存の境界検出手法が、輪郭画における顕著な内部縁や芸術的スタイルを捉えられていないというギャップに対処する。
• リアルタイムフィードバックを提供するゲームベースインターフェースを用いて、人間が使いやすく、スケーラブルな輪郭スケッチのデータ収集手法を開発する。
• 輪郭生成を越えて、顕著境界検出の性能向上に寄与する汎用性の高い学習ベースのモデルを構築する。
• 人間のラベリングにおいて、正確な境界アノテーションよりも、輪郭スケッチのアノテーションが直感的でスケーラブルであることを実証する。

提案手法

• 顕著な輪郭と芸術的不完全性に重点を置き、真値とはゆるいアライメントを持つ、5,000件の人が描いた輪郭スケッチの新しいデータセットを収集する。
• 予測された境界点に近づくと報酬が得られ、逸脱するとペナルティが課されるリアルタイムフィードバックを提供するゲームベースのデータ収集インターフェースを設計する。
• アノテーションのばらつきにもかかわらず、人間が描いた輪郭に一致するよう促す損失関数を用いて、入力画像から輪郭画を予測する深層ニューラルネットワークを訓練する。
• モデルをBSDS500で微調整し、輪郭表現の汎用性を活用して、顕著境界検出の性能を評価する。
• 予測された報酬／ペナルティ点との距離に基づき、AIスコアを用いて低品質なスケッチを自動でフィルタリングする品質管理メカニズムを実装する。
• 新規データ収集に伴い、モデルと報酬ポイントを繰り返し更新することで、スケッチ生成システムの継続的改善を実現する。

実験結果

リサーチクエスチョン

• RQ1 芸術的スケッチとしての輪郭画は、視覚モデルの学習に用いるための、正確な境界アノテーションよりもスケーラブルで直感的な代替手段として機能するだろうか？
• RQ2 輪郭スケッチで学習したモデルは、標準的な顕著境界検出ベンチマークで、どの程度の性能向上を達成できるだろうか？
• RQ3 リアルタイムフィードバックを提供するゲームベースインターフェースは、大規模かつ多様な輪郭スケッチデータを収集するのにどの程度効果的だろうか？
• RQ4 深層学習モデルは、幾何学的正確性を保ちながら、人間の芸術的スタイルや不完全性を反映した輪郭画を学習して生成できるだろうか？

主な発見

• 提案手法は、輪郭画生成の定量的指標および定性的評価において、以前の手法を上回る性能を示した。
• BSDS500で微調整した後、モデルは顕著境界検出において最先端の性能を達成し、専用の境界検出モデルを上回った。
• AIスコアシステムは、初期データセットの90％、および新しいテストセットの96％の不適切なスケッチを効果的に同定した。これは、自動品質管理の有効性を示している。
• 人間のアノテーターは、スケッチ作業を楽しく、没入感があると報告しており、従来の境界アノテーションよりも輪郭スケッチが魅力的であることが示された。
• モデルは、物体の境界だけでなく、遮蔽縁やくびれのような特徴を含む顕著な内部縁も学習して生成した。
• ゲームベースのデータ収集システムにより、低コストでスケーラブルなデータ取得が可能となり、アノテーションの負担も最小限に抑えられ、モデルの継続的改善を支援した。