[論文レビュー] Interactive Sketch & Fill: Multiclass Sketch-to-Image Translation

Arnab Ghosh, Richard Zhang+5 more|arXiv (Cornell University)|Sep 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 61被引用数 16

ひとこと要約

本稿では、部分的なユーザーによるスケッチを補完し、リアルタイムでクラス固有の画像を生成するインタラクティブなGANベースのスケッチから画像への変換システムを提案する。2段階のプロセス—まず形状補完ネットワークで形状を補完し、次にゲーティングベースの条件付き生成器を用いて完成したアウトラインとクラスラベルの両方に条件づけられた写真のようにリアルな画像を生成することで—、疎なスケッチから正確でマルチクラスの画像合成を実現し、単純な連結手法を上回り、1つの共有生成器でクラスごとの性能に近い結果を達成する。

ABSTRACT

We propose an interactive GAN-based sketch-to-image translation method that helps novice users create images of simple objects. As the user starts to draw a sketch of a desired object type, the network interactively recommends plausible completions, and shows a corresponding synthesized image to the user. This enables a feedback loop, where the user can edit their sketch based on the network's recommendations, visualizing both the completed shape and final rendered image while they draw. In order to use a single trained model across a wide array of object classes, we introduce a gating-based approach for class conditioning, which allows us to generate distinct classes without feature mixing, from a single generator network. Video available at our website: https://arnabgho.github.io/iSketchNFill/.

研究の動機と目的

• 初心者ユーザーが、インタラクティブで段階的なスケッチによって単純な物体の写真のようにリアルな画像を生成できるようにすること。
• 密集したエッジマップを必要とせずに、不完全で疎なスケッチから多様でクラス固有の画像を生成する課題に対処すること。
• 特徴の混合を防ぎ、複数のオブジェクトクラスをサポートする単一のスケーラブルな生成器を開発すること。特に、効果的なクラス条件付けを実現するための新規ゲーティング機構を用いる。
• スケッチ中にリアルタイムのフィードバックを提供することで、妥当な形状補完とそれに応じた画像結果を提示すること。

提案手法

• 2段階のフレームワーク：まず、疎なユーザーのストロークから妥当な完全なアウトラインを予測する形状補完ネットワークを用いる。
• 次に、完成したアウトラインとユーザーが指定したクラスラベルの両方に条件づけられたマルチクラスの条件付きGANを用いて、写真のようにリアルな画像を生成する。
• クラス固有の特徴調制御を可能にするために、生成器にゲーティング機構（特にチャネルワイドのソフトゲーティング、例：ChannelGate）を適用し、クラス間での特徴の混合を防止する。
• ゲーティング機構は層（例：リサンプルブロック内）に跨り適用され、学習可能なバイアスを含むため、クラス関連の活性化に焦点を合わせられる。
• すべてのクラスで1つの共有生成器とディスクラミネーターを用い、円形および複雑な形状を含む10種類のオブジェクトクラスからなる多様なデータセットで学習する。
• インターフェースはリアルタイムの視覚的フィードバックを提供する：完成した形状（グレー）、合成画像（カラー）、ユーザーの編集（緑／赤）を表示し、インタラクティブな最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1つの条件付きGAN生成器が、特徴の混合を防ぎつつ、不完全なスケッチから多様でクラス固有の画像を効果的に生成できるか？
• RQ2 形状補完の後に画像生成を行う2段階アプローチは、直接的なスケッチから画像への変換と比較して、訓練の安定性とユーザーのフィードバックを向上させるか？
• RQ3 マルチクラスのスケッチから画像への変換において、ナイーブな連結や適応的インスタンス正規化と比較して、ゲーティングベースの条件付け機構はどの程度効果的か？
• RQ4 モデルは、例えば円形のアウトラインがパインアップルやカップケーキを生成するような、未学習の形状-クラスの組み合わせにも一般化できるか？
• RQ5 提案手法は、1つのデプロイ可能なモデルを維持しつつ、クラス別生成器と同等の性能を達成できるか？

主な発見

• ゲーティングベースの条件付け機構（特にChannelGate）は、テストセットで99.6％の分類精度を達成し、ナチュラルな連結（64.5％）を大きく上回り、クラス別生成器性能（97.0％）に近づいた。
• ゲーティングを備えたSkinnyResNetアーキテクチャは、人間評価で23.4％のだまし率を示し、リアルさの観点でクラス別生成器（17.7％）を上回った。これは、より良い一般化性能とより少ないアーティファクトを示している。
• 2段階のアプローチは、部分的なアウトラインから直接画像にマッピングする手法よりも顕著に性能を向上させた。中間段階の形状補完が重要な幾何的監視を提供したためである。
• 同じアウトライン（例：円）からでも、バスケットボール、メロン、カップケーキ、パイナップルといった多様なクラスに対して、明確でクラス固有の画像を生成できた。冠や底の構造的ヒントがなくても可能だった。
• 顔や靴といった複雑な形状に対しても一般化を示し、単純な丸いオブジェクトにとどまらない堅牢性を示した。
• ゲーティング機構により、クラス間の明確な分離が実現され、1つの生成器が10種類のオブジェクトクラスに対して、性能劣化を伴わず高品質で多様な出力を生成できた。