[論文レビュー] Characterizing and Improving Stability in Neural Style Transfer

Agrim Gupta, Justin Johnson+2 more|arXiv (Cornell University)|May 5, 2017

Generative Adversarial Networks and Image Synthesis参考文献 31被引用数 18

ひとこと要約

この論文は、神経的スタイル転送における不安定性の根本的原因——具体的には、スタイル画像のグラム行列のトレースと解集合の安定性との逆相関関係——を特定し、リアルタイムでフレームごとのちらつきのないスタイル化動画を実現するための時間的整合性損失を備えた再帰的畳み込みニューラルネットワークを提案する。この手法は、従来の最適化ベースのアプローチに比べて1000倍高速でありながら、ほぼ最適化品質を達成する。

ABSTRACT

Recent progress in style transfer on images has focused on improving the quality of stylized images and speed of methods. However, real-time methods are highly unstable resulting in visible flickering when applied to videos. In this work we characterize the instability of these methods by examining the solution set of the style transfer objective. We show that the trace of the Gram matrix representing style is inversely related to the stability of the method. Then, we present a recurrent convolutional network for real-time video style transfer which incorporates a temporal consistency loss and overcomes the instability of prior methods. Our networks can be applied at any resolution, do not re- quire optical flow at test time, and produce high quality, temporally consistent stylized videos in real-time.

研究の動機と目的

• 動画に適用されたリアルタイム神経的スタイル転送手法におけるちらつきの不安定性の原因を調査・特定すること。
• スタイル画像のグラム行列のトレースが、スタイル転送における解集合の安定性に与える影響を同定すること。
• 高品質な視覚的品質を維持しながら時間的整合性を確保するリアルタイムの動画スタイル転送手法を開発すること。
• フォワードパス手法（ちらつき）と最適化ベース手法（遅さ）の限界を克服し、両者の長所を統合すること。

提案手法

• 著者らは、スタイル転送におけるグラム行列マッチング目的関数の解集合を分析し、その解集合がスタイル画像のグラム行列のトレースに依存する半径の球体を形成することを示している。
• 時間的整合性を保つために、フレームを逐次処理する再帰的畳み込みニューラルネットワーク（R-CNN）を提案している。
• 連続する時系列ステップにおけるグラム行列マッチング目的関数の類似した解を促進する時間的整合性損失を導入している。
• 推論時に光流を必要とせず、流れ推定の誤差による誤りを回避している。
• コンテンツ損失、スタイル損失、時間的整合性損失の組み合わせにより、エンド・ツー・エンドでネットワークを訓練している。
• 再訓練なしで任意のスタイル転送に対応でき、解像度に一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 リアルタイム神経的スタイル転送が動画に適用された際のちらつきの原因は何か？
• RQ2 スタイル画像のグラム行列のトレースは、スタイル転送の解集合の安定性にどのように関係するか？
• RQ3 時間的整合性損失を備えた再帰的アーキテクチャは、ちらつきを低減し、高品質なリアルタイム動画スタイル転送を達成できるか？
• RQ4 提案手法は、フォワードパス手法および最適化ベース手法のベースラインと比較して、性能および安定性でどのように差をつけるか？

主な発見

• スタイル画像のグラム行列のトレースは、解集合の安定性と逆相関関係にあり、トレースが大きいほど不安定性とちらつきが顕著になる。
• 提案された再帰的ネットワークは、Rain PrincessスタイルにおいてPSNR/SSIMが27.76/0.9194を達成し、リアルタイムベースライン（26.00/0.7432）に比べて時間的整合性で顕著に優れている。
• ユーザースタディーでは、213名中133名が提案手法をリアルタイムベースラインよりも好むと回答し、ちらつきの感覚が著しく低いと評価した。
• この手法は、最適化ベースラインに近いちらつきレベル（例：PSNR/SSIM 23.44/0.9240 vs. 最適化ベースラインの23.68/0.9136）にまで低下させつつ、1000倍の高速化を達成した。
• 入力の歪みに対して頑健であり、自然画像ペアと同等の画像類似度を維持している。これに対して、リアルタイムベースラインは類似度が急激に低下する。
• 推論時に光流に依存しないため、Sintelデータセットでの実験で、流れ推定の誤差に起因する失敗モードを回避していることが実証された。