[論文レビュー] SketchEmbedNet: Learning Novel Concepts by Imitating Drawings

Alexander Wang, Mengye Ren+1 more|arXiv (Cornell University)|Aug 27, 2020

Multimodal Machine Learning Applications参考文献 53被引用数 4

ひとこと要約

SketchEmbedNetは、画像の連続的なスケッチを生成するように訓練された、クラスに依存しないエンコーダ・デコーダモデルを提案する。人間のスケッチを模倣することで、構造的で構成的な埋め込みを生成し、訓練時にクラスラベルがなくても、未学習のクラスやデータセットに対して強力な少サンプル分類性能を達成する。

ABSTRACT

Sketch drawings capture the salient information of visual concepts. Previous work has shown that neural networks are capable of producing sketches of natural objects drawn from a small number of classes. While earlier approaches focus on generation quality or retrieval, we explore properties of image representations learned by training a model to produce sketches of images. We show that this generative, class-agnostic model produces informative embeddings of images from novel examples, classes, and even novel datasets in a few-shot setting. Additionally, we find that these learned representations exhibit interesting structure and compositionality.

研究の動機と目的

• 画像のスケッチを生成するように訓練することで、顕著な視覚的特徴を捉える表現学習手法を開発すること。
• 訓練時に画像からスケッチへの生成のみに依存するクラスに依存しないモデルを用いて、新規クラスやデータセットへの少サンプル一般化を可能にすること。
• スケッチベースの生成が、ピクセルベースの生成と比較して、より構造的で構成的かつ情報豊かな画像埋め込みをもたらすかどうかを検証すること。
• スケッチ表現における構成的性質を、ベクトル演算操作を通じて評価すること。

提案手法

• 自然画像から潜在的な SketchEmbedding ベクトルを生成するためにピクセルベースの画像エンコーダを用いる。
• スケッチを表すペントレースの系列を潜在埋め込みから生成する、順序付き自己回帰的デコーダ（SketchRNNに基づく）を採用する。
• 再構成に基づく目的関数を用いて、教師スケッチ系列と生成スケッチとの差を最小化することで、モデルをエンドツーエンドで訓練する。
• 幅広い多様な画像クラス（例：QuickDraw や ImageNet からのもの）を用いて、汎用的でクラスに依存しない表現を学習する。
• 表現品質の向上を図るために、対照的および自己教師あり学習の目的関数を適用する。
• 学習済み埋め込みを用いて、Omniglotおよびmini-ImageNetにおけるゼロショットおよび少サンプル分類を通じて、下流の性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 スケッチの生成を学習する生成モデルは、クラスラベルなしで情報豊かで一般化可能な画像表現を学習できるか？
• RQ2 SketchEmbedNetモデルは、少サンプル設定下で新規クラスやデータセットにどの程度一般化できるか？
• RQ3 学習済みのSketchEmbeddingは構成的かつ空間的構造を示すか？ これにより、ベクトル演算（例：加算・減算）によって概念を操作できるか？
• RQ4 ピクセルベースの生成と比較して、スケッチベースの表現学習は下流の分類性能においてどのように異なるか？
• RQ5 生成されたスケッチは、特に複雑または抽象的な概念において、意味的意味や形状構造をどの程度保持しているか？

主な発見

• SketchEmbedNetは、スケッチベースの表現学習のみを用いて、Omniglotの少サンプル分類ベンチマークで97.66%の精度を達成し、ベースラインモデルを上回った。
• mini-ImageNetベンチマークでは、学習済みクラスで81.44%の精度、未学習クラスで77.94%の精度を達成し、強力なゼロショット一般化を示した。
• 訓練時に見なかった新規データセット（例：QuickDraw や Omniglot など、未学習ドメインを含む）に対しても、学習済みクラスおよび未学習クラスの両方で高い性能を示した。
• SketchEmbedNetの埋め込みは概念の構成をサポートする：埋め込みのベクトル演算（例：加算・減算）により、概念を組み合わせたり変更したりして新しい形状を生成する意味のある視覚的結果が得られた。
• 定性的な分析から、特に書記文字や明確な構成的構造を持つ物体において、ピクセルベースの生成手法と比較して、生成スケッチが形状と構造的詳細をよりよく保持していることが示された。
• 分類精度およびスケッチの識別可能性の両面で、Conv-VAEベースラインを上回ったことから、ピクセルベースの生成に比べてスケッチベースの生成が、より意味的意味のある表現をもたらすことが示された。