[論文レビュー] StrokeCoder: Path-Based Image Generation from Single Examples using Transformers

Sabine Wieluch, Friedhelm Schwenker|arXiv (Cornell University)|Mar 26, 2020

Generative Adversarial Networks and Image Synthesis参考文献 19被引用数 4

ひとこと要約

StrokeCoder は、1つの手書きスケッチから多様でスタイルを保ったパスベースの画像を生成する、Transformerに基づく生成モデルを提案する。1つの例に対してパス変換を適用し、動的データシャッフルを用いたTransformerエンコーダーで訓練することで、キーパターンのスタイル的特徴を保持しながら多様で整合性のあるスケッチを生成する。人間評価による検証では、12の形容詞のうち平均で2.94のスタイルずれを示した。

ABSTRACT

This paper demonstrates how a Transformer Neural Network can be used to learn a Generative Model from a single path-based example image. We further show how a data set can be generated from the example image and how the model can be used to generate a large set of deviated images, which still represent the original image's style and concept.

研究の動機と目的

• 1つの例のスケッチのみを用いて、パスベースの画像を生成するワンショット生成モデルの開発。
• 生成された変種において、元のスケッチのスタイルと概念的構造を保持すること。
• 最小限の学習データで十分な性能を発揮するクリエイティブデザイン支援ツールやデジタルファブリケーションワークフローの実現。
• Transformerがパスベース画像合成におけるシーケンス生成に有効であるかの検討。

提案手法

• 各スケッチを線分のシーケンスとして表現し、Transformerへの入力として1次元のトークンシーケンスにフラット化する。
• 学習済み位置エンコーディングを用いたTransformerエンコーダーを採用し、ストロークパス内の順序依存関係をモデル化する。
• 元のスケッチに対してパス変更変換（例：スケーリング、回転、反転）を適用することで、合成学習データを生成する。
• 訓練エポック間で動的データシャッフルを実装し、限られた例への過学習を防ぐ。
• 推論時に異なるk値を用いたトップ-kサンプリングを適用し、多様性と忠実度のトレードオフを制御する。
• ストロークシーケンスに対してワードエムベッディング風のベクトル化を実施し、その後に線形層とソフトマックス層を用いてトークン予測を行う。

実験結果

リサーチクエスチョン

• RQ1 1つのスケッチ例を用いて、多様でスタイル一貫性のあるパスベースの画像を生成する生成モデルを学習可能か？
• RQ2 この文脈において、デコーダーを搭載しないTransformerエンコーダーは、シーケンス生成にどの程度有効か？
• RQ3 データ拡張と動的データシャッフルは、1つの例からの一般化性能にどのような影響を与えるか？
• RQ4 異なるサンプリング戦略（例：k=1 と k=10）は、生成されたスケッチの多様性と品質にどのように影響するか？
• RQ5 生成された画像が、元のスケッチのスタイル的特徴をどの程度保持しているか？

主な発見

• データ拡張と動的トレーニングシャッフルを用いることで、1つのスケッチから多様で整合性のあるパスベースの画像を生成するモデルが成功した。
• トップ-kサンプリングでk=10を用いた場合、グリーディサンプリング（k=1）に比べて顕著に多様性の高い画像が生成されたが、ややスタイルの忠実度が低下した。
• グリーディサンプリング（k=1）では繰り返しが多く、多様性に欠ける出力が得られたが、元のスタイルと高い一致を示した。
• 人間評価では、12の形容詞のうち平均で2.94のスタイルずれが確認され、コアなスタイル的特徴の強力な保持が示された。
• 特に「ボックス」や「スパイク」のような対称的または構造的なスケッチにおいて、正確なストローク配置と空間的レイアウトの再現に苦労した。
• 初期化ベクトル長さをシーケンス長さの半分に設定した場合が最適なパフォーマンスを示し、モデルの明確さとシーケンス理解のバランスが取れた。