[論文レビュー] SketchyScene: Richly-Annotated Scene Sketches

Changqing Zou, Qian Yu+7 more|arXiv (Cornell University)|Aug 7, 2018

Advanced Vision and Imaging参考文献 28被引用数 6

ひとこと要約

本論文では、29,000点を超えるシーンスケッチ、11,000点のオブジェクトスケッチ、7,000組以上のスケッチ・フォトペアを含み、完全なセマンティックマスクとインスタンスマスクを備えた、豊富にアノテートされたシーンスケッチの最初の大規模データセットであるSketchySceneを紹介する。このデータセットは、参照画像を用いてドロップ・アンド・ドロップ方式でオブジェクトスケッチを配置する新しいクラウドソーシングパイプラインにより作成され、高品質で多様なシーンスケッチの生成を可能にする。主な貢献は、ドメイン適応モデルを用いたスケッチセグメンテーションにおいて最先端の性能を達成するなど、スケッチベースのシーン理解の新規応用（セマンティックセグメンテーション、画像検索、カラーリング、編集、キャプション生成）を可能にすることにある。

ABSTRACT

We contribute the first large-scale dataset of scene sketches, SketchyScene, with the goal of advancing research on sketch understanding at both the object and scene level. The dataset is created through a novel and carefully designed crowdsourcing pipeline, enabling users to efficiently generate large quantities of realistic and diverse scene sketches. SketchyScene contains more than 29,000 scene-level sketches, 7,000+ pairs of scene templates and photos, and 11,000+ object sketches. All objects in the scene sketches have ground-truth semantic and instance masks. The dataset is also highly scalable and extensible, easily allowing augmenting and/or changing scene composition. We demonstrate the potential impact of SketchyScene by training new computational models for semantic segmentation of scene sketches and showing how the new dataset enables several applications including image retrieval, sketch colorization, editing, and captioning, etc. The dataset and code can be found at https://github.com/SketchyScene/SketchyScene.

研究の動機と目的

• オブジェクトレベルおよびシーンレベルの両方で、スケッチ理解のための大規模かつ豊富にアノテートされたデータセットの不足を解消すること。
• 効率的で高品質な現実的かつ多様なシーンスケッチの生成を可能にする、スケーラブルで拡張可能なクラウドソーシングパイプラインの開発。
• 統一的かつアノテート済みのデータセットを用いて、スケッチベースの画像検索、セマンティックセグメンテーション、カラーリング、編集、キャプション生成の分野における研究を促進すること。
• 自然画像のセグメンテーションモデルがスケッチデータにどれほど転送可能かを調査し、効果的な事前学習戦略を同定すること。

提案手法

• ユーザーが参照画像をガイドに、事前に用意されたオブジェクトスケッチをドラッグ・アンド・ドロップし、スケールを調整することでシーンスケッチを作成できる、新しいクラウドソーシングインターフェースを設計した。
• すべてのシーンスケッチは、45の一般的なカテゴリにわたるすべてのオブジェクトについて、セマンティックマスクとインスタンスマスクでアノテートされており、正確な局所化とラベル付けが保証されている。
• このデータセットはモジュラーかつ拡張可能であり、テンプレート内のオブジェクトスケッチを簡単に入れ替えたり追加したりすることで、新たな構成を生成し、データセットを豊かにできる。
• DeepLab-v2をSketchySceneで微調整し、シーンスケッチのセマンティックセグメンテーションを実行した。ImageNet、COCO、エッジマップを用いた事前学習戦略のアブレーションスタディも実施した。
• InceptionV3に基づくトリプレットランク付けネットワークを、オブジェクトカテゴリ情報を利用できる補助シグモイドクロスエントロピー損失を組み合わせて、スケッチベースの画像検索用に訓練した。
• セグメンテーション出力とインスタンスレベルのアノテーションを用いて、スケッチキャプション生成、編集、カラーリング、動的シーン合成といった応用を実証した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ豊富にアノテートされたシーンスケッチデータセットは、セマンティックセグメンテーションや画像検索といったスケッチ理解タスクの性能を顕著に向上させ得るか？
• RQ2 自然画像やエッジマップから事前学習されたモデルをスケッチデータで微調整した場合、どの戦略が最も効果的か？
• RQ3 SketchySceneは、スケッチカラーリング、編集、動的シーン合成といった新規応用をどれほど可能にするか？
• RQ4 SketchySceneのモジュラーかつオブジェクト指向の設計は、将来的なデータセット拡張のためのスケーラビリティと拡張性をどの程度サポートするか？

主な発見

• 自然画像とスケッチの間には大きなドメインギャップがあるため、ImageNet や COCO で事前学習してもスケッチセグメンテーションの性能は向上しない。
• エッジマップで事前学習しても、領域ベースのマスクを含めても、スケッチに存在しないノイズが多すぎるため、スクラッチからの学習よりも良い結果は得られない。
• 境界ピクセルのみを含むエッジマップで事前学習した（バージェント-3）場合が最も高い性能を示し、これはターゲットのスケッチドメインに最も近い。
• SketchySceneを用いたスケッチベースの画像検索では、ランク1で32.13%、ランク10で69.48%の精度を達成し、検索タスクへのデータセットの有効性を示した。
• セグメンテーション結果とインスタンスレベルのアノテーションを用いて、スケッチキャプション生成と編集を成功させ、例えば「ニワトリ」を「アヒル」に置き換えるような意味論的編集を実現した。
• セマンティックラベルに基づいて色を割り当てることで、合成パイプライン内で動的シーンシーケンス全体に一貫性のある結果を得た自動スケッチカラーリングを実現した。