[論文レビュー] Sketchforme: Composing Sketched Scenes from Text Descriptions for Interactive Applications

Forrest Huang, John Canny|arXiv (Cornell University)|Apr 8, 2019

Multimodal Machine Learning Applications参考文献 21被引用数 8

ひとこと要約

Sketchforme は、自然画像データセット（キャプションおよびバウンディングボックスを併記）を用いてトレーニングされたニューラルネットワークベースのシステムであり、2段階のプロセスによりテキスト記述から複数対象のスケッチシーンを生成する。まず、Scene Composer が自然画像データセットを用いてレイアウト構成を生成する。次に、Object Sketcher が、オブジェクトのアスペクト比に従って現実的で表現力のあるスケッチを生成する。このシステムは、36.5％のユーザーが人間が描いたスケッチと評価するスケッチを生成し、スケッチベースの言語学習およびインテリジェントなスケッチアシスタントの向上に寄与する。

ABSTRACT

Sketching and natural languages are effective communication media for interactive applications. We introduce Sketchforme, the first neural-network-based system that can generate sketches based on text descriptions specified by users. Sketchforme is capable of gaining high-level and low-level understanding of multi-object sketched scenes without being trained on sketched scene datasets annotated with text descriptions. The sketches composed by Sketchforme are expressive and realistic: we show in our user study that these sketches convey descriptions better than human-generated sketches in multiple cases, and 36.5% of those sketches are considered to be human-generated. We develop multiple interactive applications using these generated sketches, and show that Sketchforme can significantly improve language learning applications and support intelligent language-based sketching assistants.

研究の動機と目的

• テキストアノテート済みスケッチデータセットを必要とせずに、自然言語記述からスケッチシーンを生成するシステムを開発すること。
• スケッチと自然言語を統合したインタラクティブなアプリケーションを可能にし、ユーザーの表現力と学習効果を向上させること。
• シーン構成の高レベルな意味的理解と、スケッチの低レベルなメカニズムを統合し、現実的な出力を得ること。
• ユーザー研究を通じて、生成されたスケッチの現実性と表現力が人間が描いたスケッチと比較してどの程度であるかを評価すること。
• 言語学習およびインテリジェントなスケッチアシスタントにおける実用的応用を示すこと。

提案手法

• Scene Composer は、自然画像データセット（テキストキャプション、バウンディングボックス、クラスラベルを併記）を用いてトレーニングされたニューラルネットワークを用い、複数オブジェクトのレイアウト構成を生成する。
• Object Sketcher は、レイアウト構成から得たオブジェクトのアスペクト比を条件として、微調整された Sketch-RNN モデルを用いてストロークベースのスケッチを生成する。
• システムは高レベルのシーン構成と低レベルのスケッチ生成を分離することで、ペアドテキスト-スケッチデータセットを必要とせずにモジュラーなトレーニングを可能にする。
• バウンディングボックスからのアスペクト比が、Object Sketcher におけるスケッチの形状とポーズをガイドする条件信号として用いられる。
• 2段階のパイプラインにより、テキストアノテート済みスケッチデータセットを一切使用せずとも、表現的で整合性のある複数対象のスケッチを生成可能である。
• ユーザーが提供するテキスト記述に基づいてスケッチをオンデマンドで生成できるため、インタラクティブなアプリケーションをサポートする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークは、テキストアノテート済みスケッチデータセットに依存せずに、自然言語記述から現実的で複数対象のスケッチシーンを直接生成できるか？
• RQ2 Sketchforme が生成するスケッチは、人間が描いたスケッチと比較してどの程度表現的で現実的であるか？
• RQ3 Sketchforme は、スケッチベースの言語学習アプリケーションをどの程度向上できるか？
• RQ4 Sketchforme は、自然言語入力に対して関連性のあるスケッチを生成するインテリジェントなスケッチアシスタントを実現できるか？
• RQ5 オクルージョンや整合性のないポーズといったスケッチ生成の主な制限要因は何か。また、それらはどのように是正できるか？

主な発見

• ユーザー研究において、36.5％の Sketchforme 生成スケッチが人間が描いたものと判定された。これは、強力な現実性と表現力の証左である。
• 5つのテスト記述のうち2つについて、参加者は Sketchforme 生成スケッチが人間が描いたスケッチよりも表現力があると評価した。
• Sketchforme を用いたスケッチベースの言語学習アプリケーションは、ユーザーの関与度と学習効果の両面で顕著な向上を示した。
• システムは、テキスト入力に基づき文脈的に関連性のあるスケッチを生成するインテリジェントなスケッチアシスタントの実現に成功した。
• 主な制限要因として、オクルージョンのあるオブジェクトや、アスペクト比が誤解を招く（例：正方形のバウンディングボックスから象の顔だけをスケッチする）場合に、ポーズが整合性を欠くことがある。
• 今後の研究では、ポーズモデリング、オクルージョン対処、色およびアニメーションの統合を検討することで、現実性と表現力をさらに向上させるべきである。