[論文レビュー] Deep Learning for Identifying Potential Conceptual Shifts for Co-creative Drawing

Pegah Karimi, Nicholas M. Davis+2 more|arXiv (Cornell University)|Jan 2, 2018

Design Education and Practice参考文献 8被引用数 3

ひとこと要約

本論文では、ユーザーのスケッチを異なるカテゴリの構造的に類似したスケッチと照合することで、概念的シフトを同定する深層学習を用いた共同創造的スケッチシステムを提示する。VGG-16特徴量とk-meansクラスタリングを用いてQuick, Draw!データセットで訓練された本システムは、クラスターセンターベクトル間のユークリッド距離を計算することで、潜在的な概念的ブレンドを検出する。これにより、AIがユーザーの創造性を高めるために、カテゴリを越えたスケッチ変換を提案できる。

ABSTRACT

We present a system for identifying conceptual shifts between visual categories, which will form the basis for a co-creative drawing system to help users draw more creative sketches. The system recognizes human sketches and matches them to structurally similar sketches from categories to which they do not belong. This would allow a co-creative drawing system to produce an ambiguous sketch that blends features from both categories.

研究の動機と目的

• ユーザーの創造性をAI駆動の概念的シフトによって高める共同創造的スケッチシステムの開発。
• 異なる視覚的カテゴリ間の構造的類似性を同定することで、新しいスケッチアイデアを生成する課題への対処。
• 関連のないスケッチカテゴリ間の自由連想を可能にするために、潜在的な概念的ブレンドを検出すること。
• ユーザーのスケッチを認識し、カテゴリが異なるが構造的に類似したスケッチを返答するシステムの訓練。

提案手法

• 本システムは、Quick, Draw!データセットで微調整された事前学習済みVGG-16ネットワークを用い、スケッチから4096次元の特徴ベクトルを抽出する。
• スケッチは、VGG-16の最初の全結合層（fc1）を用いて高次元表現に埋め込まれる。
• これらの埋め込みにk-meansクラスタリングを適用し、同じオブジェクトカテゴリ内での構造的類似スケッチをサブカテゴリにグループ化する。
• ユーザーのスケッチクラスタの重心と、他のカテゴリのクラスタの重心との間のユークリッド距離を計算することで、概念的シフトを同定する。
• 最も近い異なるカテゴリのクラスタが、最も有望な概念的シフトとして選択される。
• システムは、現在はランダム選択による方法で、一致したクラスタからの応答スケッチを提供するが、将来的にはニューラル生成を計画している。

実験結果

リサーチクエスチョン

• RQ1 異なる概念的カテゴリからのスケッチ間の構造的類似性をどのように検出することで、概念的ブレンドを可能にするか？
• RQ2 どの深層学習ベースの特徴表現が、同じカテゴリ内での多様なスケッチバリエーションの有効なクラスタリングを可能にするか？
• RQ3 深層特徴量のクラスタリングが、自由連想スケッチにおける潜在的な概念的シフトの同定をどのように改善するか？
• RQ4 どのメトリクスや基準が、異なるカテゴリからの最も有望な概念的シフトを信頼性高くランク付けできるか？
• RQ5 本システムの応答は、複数の入力とイテレーションを通じてどのように変化するか？また、文脈的に関連する多様な概念的シフトを生成できるか？

主な発見

• 本システムは、クラスターセンターベクトル間のユークリッド距離を用いて、異なるカテゴリ間の構造的に類似したスケッチを同定し、潜在的な概念的シフトを可能にする。
• VGG-16特徴量に基づくクラスタリングは、同じオブジェクトの多様なスケッチバリエーションを意味のあるサブカテゴリに効果的にグループ化し、カテゴリ内ばらつきを低減する。
• 事例研究では、1つの入力スケッチに対して複数の妥当な概念的シフト応答を生成できることを示しており、例えばジャガイモを花や歯に似た形状に変換できる。
• 本システムは視覚的に妥当な概念的ブレンドを生成し、距離が小さいマッチングは強い構造的類似性を示しており、図3に示す。
• 同じオブジェクト（例：異なる花や歯）の複数の入力に対して、本システムは異なる概念的シフトを同定できており、進化するユーザー入力に適応可能であることを示している。
• 本アプローチにより、AIとユーザーがクロスカテゴリの視覚的変換を探索することで共同創造を行う自由連想ゲームフレームワークが可能になる。