[論文レビュー] Depth-Preserving Real-Time Arbitrary Style Transfer.

Konstantin Kozlovtsev, Victor Kitov|arXiv (Cornell University)|Jun 3, 2019

Advanced Image Processing Techniques参考文献 18被引用数 3

ひとこと要約

本稿では、コンテンツ画像の深度マップを保持するための可変なスタイル強度を導入したAdaINの拡張により、深度を保存するリアルタイムな任意のスタイル転送手法を提案する。従来の方法が深度を失うか再訓練を要するのに対し、本手法は、再訓練を必要とせず、効率的かつ高品質なスタイル転送を実現するとともに、知覚的な深度を保持する。ユーザー研究による検証がなされている。

ABSTRACT

Style transfer is the process of rendering one image with some content in the style of another image, representing the style. Recent studies of Liu et al. (2017) show that traditional style transfer methods of Gatys et al. (2016) and Johnson et al. (2016) fail to reproduce the depth of the content image, which is critical for human perception. They suggest to preserve the depth map by additional regularizer in the optimized loss function, forcing preservation of the depth map. However these traditional methods are either computationally inefficient or require training a separate neural network for each style. AdaIN method of Huang et al. (2017) allows efficient transferring of arbitrary style without training a separate model but is not able to reproduce the depth map of the content image. We propose an extension to this method, allowing depth map preservation by applying variable stylization strength. Qualitative analysis and results of user evaluation study indicate that the proposed method provides better stylizations, compared to the original AdaIN style transfer method.

研究の動機と目的

• コンテンツ画像の深度マップを保持できないという従来のスタイル転送手法の限界を解決すること。これは人間の知覚にとって重要である。
• 従来の最適化ベースのスタイル転送手法が計算的に非効率で、モデルの再訓練を要するという問題を克服すること。
• 効率的なAdaIN手法を拡張し、リアルタイム性能と任意のスタイル転送能力を維持したまま、深度の保存を可能にすること。
• 元のコンテンツ画像の視覚的スタイルと空間的深度構造の両方を保持する高品質なスタイル転送を実現すること。

提案手法

• スタイル適用の度合いを制御する学習可能なスタイル強度パラメータを導入することで、AdaIN（適応的インスタンス正規化）スタイル転送フレームワークを拡張する。
• 最適化中にコンテンツ画像の空間的深度構造を保持するために、損失関数に深度マップ正則化項を統合する。
• 前方伝搬中に深度マップを空間的事前分布として適用し、スタイル化された出力が元の深度レイアウトを維持することを保証する。
• 各新しいスタイルに対して再訓練を必要とせず、1つの訓練済みネットワークで任意のスタイル転送を実現する。
• コンテンツ損失、スタイル損失、深度保存損失の重み付き組み合わせにより損失関数を最適化し、忠実度とスタイル転送のバランスを取る。
• 各層や特徴マップごとにスタイル強度を適応的に適用することで、深度保存とスタイル強度の細かい制御を可能にする。

実験結果

リサーチクエスチョン

• RQ1 再訓練を要せず、AdaINベースのスタイル転送をコンテンツ画像の深度マップを保持できるように修正できるか？
• RQ2 可変なスタイル強度は、深度保存とスタイル転送品質のバランスにどのように影響するか？
• RQ3 提案手法は、標準のAdaINおよび従来の最適化ベースの手法と比較して、知覚的な深度とユーザーの好みの面で優れているか？
• RQ4 再訓練を伴わず、スタイル転送の効率を損なわずにリアルタイムでの深度保存スタイル転送が可能か？

主な発見

• 定性的な分析とユーザー評価により、提案手法がコンテンツ画像の深度構造を成功裏に保持していることが確認された。
• ユーザー評価では、視覚的リアリズムと深度知覚の面で、元のAdaIN手法よりも提案手法の結果が好まれた。
• 本手法はリアルタイムの推論速度を達成しており、元のAdaINフレームワークの効率性を維持している。
• 可変なスタイル強度の統合により、スタイル強度と深度忠実度のトレードオフをより良い制御が可能になった。
• 深度マップ正則化は、深度構造を無視する標準のAdaINと比較して、深度保存の向上に顕著な効果を示した。
• 各スタイルごとの再訓練を回避することで、任意のスタイル転送の柔軟性を維持しながら、深度認識を追加した。