[論文レビュー] SketchParse : Towards Rich Descriptions for Poorly Drawn Sketches using Multi-Task Hierarchical Deep Networks

Ravi Kiran Sarvadevabhatla, Isht Dwivedi+3 more|ePrints@IISc (Indian Institute of Science)|Sep 5, 2017

Multimodal Machine Learning Applications参考文献 50被引用数 8

ひとこと要約

SketchParseは、部分アノテーション付きデータセットからのスケッチ化された画像を活用して手動アノテーションを回避することで、自由なスケッチの完全自動解析を実現する、新しいマルチタスク階層的ディープネットワークを提案する。共有特徴抽出、カテゴリ固有のエキスパート、動的ルーティングを実行するルーター、および2次元ポーズ推定を補助タスクとして用い、複数のデータセットおよび未学習カテゴリにおいて、部分セグメンテーション、ポーズ推定、スケッチキャプションの分野で最先端の性能を達成している。

ABSTRACT

The ability to semantically interpret hand-drawn line sketches, although very challenging, can pave way for novel applications in multimedia. We propose SketchParse, the first deep-network architecture for fully automatic parsing of freehand object sketches. SketchParse is configured as a two-level fully convolutional network. The first level contains shared layers common to all object categories. The second level contains a number of expert sub-networks. Each expert specializes in parsing sketches from object categories which contain structurally similar parts. Effectively, the two-level configuration enables our architecture to scale up efficiently as additional categories are added. We introduce a router layer which (i) relays sketch features from shared layers to the correct expert (ii) eliminates the need to manually specify object category during inference. To bypass laborious part-level annotation, we sketchify photos from semantic object-part image datasets and use them for training. Our architecture also incorporates object pose prediction as a novel auxiliary task which boosts overall performance while providing supplementary information regarding the sketch. We demonstrate SketchParse's abilities (i) on two challenging large-scale sketch datasets (ii) in parsing unseen, semantically related object categories (iii) in improving fine-grained sketch-based image retrieval. As a novel application, we also outline how SketchParse's output can be used to generate caption-style descriptions for hand-drawn sketches.

研究の動機と目的

• 多様なオブジェクトカテゴリにわたる自由なスケッチの完全自動解析を可能にし、細分化された意味的理解を実現すること。
• 描画スキルのばらつきが大きく、部分的にしか描かれていない低品質なスケッチに対処すること。
• 既存の部分アノテーション付き写真データセットからスケッチ化された画像を用いることで、高コストな部分レベルのスケッチアノテーションの必要性を排除すること。
• 2次元ポーズ推定を補助タスクとして組み込むことでスケッチ理解を向上させること。
• スケッチキャプションや細分化されたスケッチベースの画像検索といった新規な応用を可能にすること。

提案手法

• モデルは2段階の完全畳み込みアーキテクチャを採用：全カテゴリに共通する共有層と、構造的に類似したスーパークラス（例：鳥類と飛行機）に特化したエキスパートサブネットワーク。
• ルーターネットワークが、予測されたスーパークラスに基づき、共有層からの特徴を適切なエキスパートに動的ルーティングすることで、推論時における手動でのカテゴリ指定を不要にする。
• 学習データは、既存のセマンティック部分検出データセットからの画像をスケッチ化することで生成され、部分レベルのアノテーションを保持しながら、スケッチに似た表現に変換される。
• ネットワークは、部分セグメンテーションと2次元ポーズ推定を組み合わせたマルチタスク損失を用いてエンドツーエンドで学習され、一般化性能と精度が向上する。
• グラフベースの再ランク付け手法は、部分レベルのパーサーやポーズ情報を用いて、スケッチと画像間の部分グラフをマッチングさせることで、スケッチベースの画像検索性能を向上させる。
• スケッチの記述は、カテゴリルーター、部分パーサー、ポーズネットワークの出力を用いたテンプレート埋め込み方式により生成される。

実験結果

リサーチクエスチョン

• RQ1 共有層とエキスパートサブネットワークを有する階層的ディープネットワークは、複数のオブジェクトカテゴリにわたる自由なスケッチの効果的かつ正確なパーサーとして機能するか？
• RQ2 部分アノテーション付き写真データセットから得られるスケッチ化された画像は、手動でアノテートされたスケッチデータセットの代替として有効に機能するか？
• RQ3 2次元ポーズ推定を補助タスクとして組み込むことで、スケッチ部分セグメンテーションの性能が向上するか？
• RQ4 再トレーニングなしで、未学習の意味的に関連するオブジェクトカテゴリに一般化できるか？
• RQ5 パースされたスケッチ特徴は、手書きスケッチに対して詳細な記述文を生成するために利用できるか？

主な発見

• SketchParseは2つの大規模スケッチデータセットにおいて最先端の性能を達成し、多様なオブジェクトカテゴリにわたる強力な一般化能力を示している。
• 部分レベルのパーサーやポーズ情報をグラフマッチング再ランク付けフレームワークに組み込むことで、細分化されたスケッチベースの画像検索性能が顕著に向上した。
• 2次元ポーズ推定を補助タスクとして組み込むことで、部分セグメンテーションの精度が向上し、効果的なマルチタスク学習が実証された。
• ルーター機構により、推論時における自動カテゴリ推論が可能になり、手動でのカテゴリ入力の必要性が排除された。
• パースされた部分、ポーズ、カテゴリ情報を利用し、テンプレート埋め込み方式により詳細で記述的なスケッチの説明文を効果的に生成できた。
• 本アプローチは、未学習の意味的に関連するカテゴリに対しても良好な一般化を示し、スケーラビリティとロバストネスを実証した。