[論文レビュー] Controlling Perceptual Factors in Neural Style Transfer

Leon A. Gatys, Alexander S. Ecker+3 more|arXiv (Cornell University)|Nov 23, 2016

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 11

ひとこと要約

本稿では、スタイルを空間的領域、色彩／輝度、空間的スケールに分解することにより、ニューラルスタイル転送における直感的で知覚的に意味のある制御を導入する。空間マスク、輝度のみのスタイル転送、マルチスケール特徴最適化を損失関数に組み込むことで、一般的な失敗事例を軽減し、複数のスタイルソースを組み合わせて、新しい知覚的に魅力的な結果を得られる高品質で制御可能なスタイル転送を実現する。

ABSTRACT

Neural Style Transfer has shown very exciting results enabling new forms of image manipulation. Here we extend the existing method to introduce control over spatial location, colour information and across spatial scale. We demonstrate how this enhances the method by allowing high-resolution controlled stylisation and helps to alleviate common failure cases such as applying ground textures to sky regions. Furthermore, by decomposing style into these perceptual factors we enable the combination of style information from multiple sources to generate new, perceptually appealing styles from existing ones. We also describe how these methods can be used to more efficiently produce large size, high-quality stylisation. Finally we show how the introduced control measures can be applied in recent methods for Fast Neural Style Transfer.

研究の動機と目的

• ニューラルスタイル転送における直感的でない制御の欠如に取り組む。これは、スタイル表現に複雑で直感的でない畳み込みニューラルネットワークの統計量に依存している。
• 画像スタイルを知覚的に意味のある要因に分解する：空間的領域、色彩／輝度、空間的スケール。
• 粗くから細かくまでの最適化と高速ニューラルスタイル転送への応用により、高解像度で効率的なスタイル転送を実現する。
• 複数のスタイルソースを知覚的に解釈可能な方法で組み合わせ、新しい魅力的なスタイルを生成することを可能にする。
• 画像の地表面のテクスチャを空の領域に適用するなど、アーチファクトを防ぐことで、耐性を高める。

提案手法

• 空間的制御を、特定の画像領域にスタイル損失を条件づけるバイナリーガイドマスクを導入することで実現。これにより、領域ごとのスタイル転送が可能になる。
• 内容画像とスタイル画像の輝度チャンネルのみを損失関数に使用することで、輝度のみのスタイル転送を実装。これにより、元の画像の色が保持される。
• 複数の特徴マップスケール（例：粗いと細かい）でスタイル損失を計算し、それぞれのスケールごとに別々のグラム行列を用いることで、スケール制御を実装。
• 高解像度スタイル転送の高速化のため、粗くから細かくまでの最適化戦略を採用。最適化時間を約2.5倍短縮。
• ガイドチャンネルを用いたマルチリージョンまたはマルチスケールスタイル画像で事前学習した順方向ネットワークを用いることで、高速ニューラルスタイル転送に適応。
• 訓練中にスタイル統計を特定の空間領域に局在化するために、ガイド付きグラム行列（式7）を採用。

実験結果

リサーチクエスチョン

• RQ1 空間的位置、色彩、スケールといった知覚的要因を、ニューラルスタイル転送において独立して制御可能か。これによりスタイル転送の品質が向上するか。
• RQ2 スタイルを空間的、色彩的、スケール的成分に分解することで、より解釈可能で柔軟なスタイル転送が可能になるか。
• RQ3 これらの制御は、最適化ベースおよび高速順方向スタイル転送の両方の方法に適用可能か。
• RQ4 複数のスタイルソースをこれらの制御を用いて組み合わせることで、新しい知覚的に魅力的な結果が得られるか。
• RQ5 本手法は、一般的な失敗事例（例：空の領域に地面のテクスチャを適用）を軽減できるか。

主な発見

• 粗くから細かくまでのリファインメントを用いることで、最適化時間を約2.5倍短縮しつつ、高解像度スタイル転送を成功裏に実現。
• 空間的制御により、異なる領域に別々のスタイルを適用可能。例えば、別々のスタイル画像から得たテクスチャを空と地面にそれぞれ適用可能。
• 輝度のみのスタイル転送により、スタイライズドされた輝度と元のコンテンツ画像の色チャンネルを組み合わせることで、より自然な結果が得られる。
• スケール制御により、細かい構造と粗い構造を別々にスタイライズ可能となり、出力の構造的整合性が向上。
• 複数のスタイルソースを知覚的に意味のある方法で組み合わせられ、新しい視覚的に魅力的なスタイルの生成が可能。
• 高速ニューラルスタイル転送と互換性があり、ガイドマスクを用いた事前学習済み順方向ネットワークにより、リアルタイムで空間的に変化するスタイル転送が実現可能。