[論文レビュー] Adjustable Real-time Style Transfer

Mohammad Babaeizadeh, Golnaz Ghiasi|arXiv (Cornell University)|Nov 21, 2018

Generative Adversarial Networks and Image Synthesis参考文献 8被引用数 13

ひとこと要約

本稿では、再訓練を必要とせず、推論時に損失重みパラメータを調整することで、スタイライズド出力を後から変更可能なリアルタイムで調整可能なスタイル変換手法を提案する。この手法により、再訓練なしに多様でユーザー制御可能な結果が得られる。アプローチでは、特徴損失の寄与度を動的に調整するための学習可能アダプターネットワークを用い、スタイライゼーションの強度やスタイル分布に対する手動またはランダム制御を可能にするとともに、コンテンツおよびスタイルの忠実度を維持する。

ABSTRACT

Artistic style transfer is the problem of synthesizing an image with content similar to a given image and style similar to another. Although recent feed-forward neural networks can generate stylized images in real-time, these models produce a single stylization given a pair of style/content images, and the user doesn't have control over the synthesized output. Moreover, the style transfer depends on the hyper-parameters of the model with varying "optimum" for different input images. Therefore, if the stylized output is not appealing to the user, she/he has to try multiple models or retrain one with different hyper-parameters to get a favorite stylization. In this paper, we address these issues by proposing a novel method which allows adjustment of crucial hyper-parameters, after the training and in real-time, through a set of manually adjustable parameters. These parameters enable the user to modify the synthesized outputs from the same pair of style/content images, in search of a favorite stylized image. Our quantitative and qualitative experiments indicate how adjusting these parameters is comparable to retraining the model with different hyper-parameters. We also demonstrate how these parameters can be randomized to generate results which are diverse but still very similar in style and content.

研究の動機と目的

• リアルタイムスタイル変換モデルにおいて、1つのコンテンツ/スタイルペアに対して固定されたスタイライゼーションしか生成できないというユーザー制御の欠如に対処する。
• 望ましいスタイライゼーションを得るために、異なるハイパーパramータを用いた再訓練が現実的でないという問題を克服する。
• 同じ入力ペアから多様なスタイライゼーションを探索できるように、推論時に損失寄与度をリアルタイムで調整できるようにする。
• ランダム化されたパラメータ調整を通じて、多様ではあるがスタイリスティックに一貫した出力を生成するメカニズムを提供する。
• ハイパーパramータ感度をモデル再訓練から分離し、損失重みの実行時制御を可能にする。

提案手法

• メインのスタイライゼーションネットワーク $T$ の正規化パラメータ $\gamma_{\boldsymbol{\alpha}}$ と $\beta_{\boldsymbol{\alpha}}$ を予測する補助ネットワーク $\Lambda$ を導入し、その入力として調整可能なパラメータ $\boldsymbol{\alpha}_c$ と $\boldsymbol{\alpha}_s$ を使用する。
• レイヤごとの損失に $\boldsymbol{\alpha}$ パラメータを乗算することで、スタイルおよびコンテンツ損失の計算を変更し、損失寄与度の動的制御を可能にする。
• 損失重みが $\boldsymbol{\alpha}$ によって変調される重み付き和を最小化することで、スタイライゼーションネットワーク $T$ とアダプターネットワーク $\Lambda$ を同時に学習する。
• ユーザーが調整可能な $\boldsymbol{\alpha}$ 値を用いてリアルタイム推論を可能にし、再訓練なしに異なるスタイライゼーションを探索できる。
• 推論時に $\boldsymbol{\alpha}$ パラメータをランダム化することで、同じコンテンツ/スタイルペアから多様な出力を得られるようにする。
• コンテンツ画像に学習されたマスクを介して微小なノイズを追加することで、スタイライゼーションの空間的変動性を向上させ、出力の多様性をさらに高める。

実験結果

リサーチクエスチョン

• RQ1 1つのコンテンツ/スタイルペアから、モデルの再訓練なしに多様で高品質なスタイライゼーションを達成できるか？
• RQ2 学習済みネットワークで損失重みを実行時調整することで、異なるハイパーパramータを用いた再訓練によるスタイライゼーションと同等の結果が得られるか？
• RQ3 パラメータのランダム化によって、多様ではあるがスタイリスティックに一貫した出力を生成するにはどうすればよいか？
• RQ4 パラメータのランダム化と組み合わせて、コンテンツ画像にノイズを追加することで、スタイライズド出力の空間的変動性が向上するか？
• RQ5 提案手法は、マルチスタイル変換や同様の損失ベースアーキテクチャを有する他のビジョンタスクへ拡張可能か？

主な発見

• 提案手法により、ユーザー定義のパラメータ $\boldsymbol{\alpha}_c$ と $\boldsymbol{\alpha}_s$ を用いて、再訓練した場合と同等の品質のスタイライズド出力をリアルタイムで調整可能である。
• 推論時に $\boldsymbol{\alpha}$ パラメータをランダム化することで、コンテンツおよびスタイルの忠実度を保ちつつ多様なスタイライゼーションが得られ、定性的な比較でその有効性が示された。
• 学習されたマスクを介してコンテンツ画像にノイズを追加することで、スタイライズド出力の空間的変動性が向上し、スタイルの忠実度を損なわずに多様性が向上した。
• スタイルパラメータにノイズを追加するベースライン手法とは異なり、本手法はスタイルを保持するか、ノイズを訓練時に入力した場合に多様性を失うことがない。
• 定性的な比較では、本手法は StyleNet [32] よりもより多様なスタイライゼーションを生成しており、主に全体的なスタイライゼーションのレベルの違いが見られる。
• 本手法は汎用的であり、マルチスタイル変換や他の損失関数、さらには動的ハイパーパramータ制御を必要とする他のディープラーニングタスクへの応用が可能である。