[論文レビュー] Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer

Xin Wang, Geoffrey Oxholm+2 more|arXiv (Cornell University)|Nov 17, 2016

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 10

ひとこと要約

本稿では、複数スケールにわたる色と輝度チャネルを同時にモデル化することで、高速かつ高精細なアートスタイル転送を実現する階層的ディープ畳み込みニューラルネットワーク「Multimodal Transfer」を提案する。複数のスケールで徐々に解像度を上げるスタイル化損失を用いて訓練することで、粗いテクスチャの歪みと細かい筆致の両方を保持でき、従来の単一損失のフォワードネットワークと比較して、高解像度画像における視覚的忠実度が顕著に向上する。

ABSTRACT

Transferring artistic styles onto everyday photographs has become an extremely popular task in both academia and industry. Recently, offline training has replaced on-line iterative optimization, enabling nearly real-time stylization. When those stylization networks are applied directly to high-resolution images, however, the style of localized regions often appears less similar to the desired artistic style. This is because the transfer process fails to capture small, intricate textures and maintain correct texture scales of the artworks. Here we propose a multimodal convolutional neural network that takes into consideration faithful representations of both color and luminance channels, and performs stylization hierarchically with multiple losses of increasing scales. Compared to state-of-the-art networks, our network can also perform style transfer in nearly real-time by conducting much more sophisticated training offline. By properly handling style and texture cues at multiple scales using several modalities, we can transfer not just large-scale, obvious style cues but also subtle, exquisite ones. That is, our scheme can generate results that are visually pleasing and more similar to multiple desired artistic styles with color and texture cues at multiple scales.

研究の動機と目的

• 高解像度画像における細かい筆致や正しいテクスチャスケールを保持できない既存のフォワードスタイル転送ネットワークの限界を解消すること。
• 固定解像度のスタイル画像で学習することで生じるテクスチャスケールの不一致問題を克服すること。
• 階層的マルチスケールフレームワーク内で色と輝度チャネルを同時にモデル化することで、視覚的品質を向上させること。
• リアルタイムのスタイル転送を実現しながら、筆致などの複雑な芸術的ディテールを忠実に捉えること。
• 複数のスタイルの融合を可能とし、1枚の画像が複数のソースからの異なるスタイル特徴を同時に引き継げるようにすること。

提案手法

• ネットワークは、粗いスケールから細かいスケールへと段階的にスタイル画像を処理する階層的アーキテクチャを採用し、マルチスケールのスタイル表現を学習する。
• 色と輝度のチャネルに特化した損失に加え、マルチスケールのコンテンツおよびスタイル再構成損失を用いることで、大規模な歪みと細かいテクスチャの両方を保持する。
• 低解像度のネットワークから得られる特徴を用いて高解像度のネットワークを初期化する段階的でプログレッシブな訓練プロセスを採用し、スケール間でエンドツーエンドの学習を可能にする。
• コンテンツ表現のための共有特徴抽出器を用い、色と輝度チャネルは別々のスタイルエンコーダーで処理された後、統合される。
• 最終的なモデルは、1つの深くフォワードなネットワークであり、複数スケールでのコンテンツ損失、スタイル損失、および知覚的損失を組み合わせてオフラインで訓練することで、ターゲットアートスタイルへの忠実度を保証する。
• 最終的なモデルは、1024×1024などの高解像度画像においてリアルタイム推論を可能にする。

実験結果

リサーチクエスチョン

• RQ1 階層的ディープラーニングアーキテクチャは、高解像度アートスタイル転送において細かい筆致と正しいテクスチャスケールを保持できるか？
• RQ2 色と輝度チャネルの両方を組み込むことで、RGBのみのアプローチと比較して、スタイライズド出力の視覚的忠実度が向上するか？
• RQ3 マルチスケール・マルチ損失の訓練方式は、複雑なアートスタイルを捉える点で、単一損失のフォワードネットワークを上回る性能を示せるか？
• RQ4 1つのネットワークを訓練して、1つのスタイルからの粗いテクスチャ歪みと、別のスタイルからの細かい筆致を統合した1つのスタイライズド出力に統合することは可能か？
• RQ5 このような階層的・マルチモーダルなネットワークは、深さと複雑性が増しても、リアルタイムの推論速度を維持できるか？

主な発見

• 提案されたマルチモーダル転送ネットワークは、最先端の単一転送ネットワークと比較して、1024×1024の高解像度画像において顕著に優れた視覚的忠実度を達成した。特に、細かい筆致と正しいテクスチャスケールの保持において顕著な向上が見られた。
• 256×256のスタイル画像で学習した単一転送ネットワークと比較して、本手法はテクスチャスケールの不一致を解消し、より正確で自然な筆致の再現を実現した。
• 1024×1024の画像において、テスト時の推論時間が0.54秒にまで短縮された。これは、深さが2倍以上に及ぶにもかかわらず、Johnsonらの高速ネットワーク（0.42秒）と同等の速度であり、実用的であることを示している。
• メモリ使用量は3100 MBであり、Johnsonの2400 MBと比較してわずかに増加したにとどまり、低解像度特徴の階層的処理による効率的な計算が実現された。
• 本手法は、複数スタイルの融合を成功裏に実現した。1枚の画像が、1つのスタイルからの粗いテクスチャ歪みと、別のスタイルからの細かい筆致を同時に引き継ぐことができ、従来の単一転送ネットワークでは実現できなかった能力を有していた。
• アブレーションスタディの結果、マルチスケール損失とマルチモーダル（色＋輝度）の監視が、大規模なスタイルディテールと複雑なスタイルディテールの両方を捉えるために不可欠であることが確認された。