[論文レビュー] Improved Style Transfer by Respecting Inter-layer Correlations

Mao-Chuang Yeh, Shuai Tang|arXiv (Cornell University)|Jan 5, 2018

Generative Adversarial Networks and Image Synthesis被引用数 8

ひとこと要約

本稿では、クロスレイヤーのグラム行列を用いてレイヤー間の相関をモデル化することで、テクスチャーや長距離パターンの転送を向上させる、新しいスタイル転送手法を提案する。従来のレイヤー内統計に比べ、この手法は優れた性能を示す。さらに、境界の保持を強化し、ハイパーパrameterを排除する乗法的損失関数を導入しており、装飾的なレリーフや階層的なパターンといった挑戦的なスタイルにおいて、顕著に優れた視覚的品質を実現する。

ABSTRACT

A popular series of style transfer methods apply a style to a content image by controlling mean and covariance of values in early layers of a feature stack. This is insufficient for transferring styles that have strong structure across spatial scales like, e.g., textures where dots lie on long curves. This paper demonstrates that controlling inter-layer correlations yields visible improvements in style transfer methods. We achieve this control by computing cross-layer, rather than within-layer, gram matrices. We find that (a) cross-layer gram matrices are sufficient to control within-layer statistics. Inter-layer correlations improves style transfer and texture synthesis. The paper shows numerous examples on "hard" real style transfer problems (e.g. long scale and hierarchical patterns); (b) a fast approximate style transfer method can control cross-layer gram matrices; (c) we demonstrate that multiplicative, rather than additive style and content loss, results in very good style transfer. Multiplicative loss produces a visible emphasis on boundaries, and means that one hyper-parameter can be eliminated.

研究の動機と目的

• 従来のスタイル転送手法がレイヤー内グラム行列に依存するため、複雑なスタイルにおいて長距離の構造的整合性を捉えられないという限界を解消すること。
• 異なるネットワーク深さの特徴量間の関係をエンコードするクロスレイヤー相関が、スタイル転送の品質を向上させるかどうかを調査すること。
• クロスレイヤーのグラム行列がコンテンツの境界を保存するだけでなく、階層的かつ大規模なパターンをより良く転送できることを示すこと。
• 乗法的損失関数が境界の強調を向上させ、ハイパーパrameterのチューニングを簡略化できることを示すこと。

提案手法

• 従来のレイヤー内グラム行列の代わりに、異なるレイヤー（例：初期層と後段層）の特徴マップ間の相関を計算するクロスレイヤーのグラム行列を採用する。
• クロスレイヤーのグラム行列は、2つの異なるレイヤーの特徴マップの外積として計算され、スケール間の依存関係を捉える。
• コンテンツ損失とスタイル損失の組み合わせを加法的ではなく乗法的とすることで、構造的境界を強調する損失関数を再定式化する。
• 高速ユニバーサルスタイル転送（FUT）に統合することで、多様なコンテンツ画像に対して効率的かつ高品質なスタイル転送を実現する。
• VGGベースの特徴抽出器を用いてエンドツーエンドで学習し、コンテンツとクロスレイヤーのスタイル統計の両方を最適化対象とする。
• クロスレイヤーのグラム行列を用いることで、制約を減らしつつも、空間的整合性とパターン周波数の制御を優れた性能で達成できる。

実験結果

リサーチクエスチョン

• RQ1 クロスレイヤーのグラム行列は、従来のレイヤー内グラム行列に比べ、長距離空間的整合性を有するスタイルにおいて、スタイル転送の性能を向上させるか？
• RQ2 レイヤー間相関をモデル化することで、スタイライズド画像におけるコンテンツ境界や素材のレリーフの保持が向上するか？
• RQ3 乗法的損失関数は境界の強調を向上させ、ハイパーパrameterのチューニングの必要性を低減できるか？
• RQ4 クロスレイヤーのグラム行列の性能は、スタイル画像のスケールやクロップサイズの変化にどのように影響を受けるか？
• RQ5 クロスレイヤー統計を用いることで、速度や一般化性能を損なわずにユニバーサルスタイル転送の性能を向上させられるか？

主な発見

• クロスレイヤーのグラム行列は、レイヤー内統計が構造的整合性を保てないような、装飾的なレリーフや長距離カーブパターンといった難しいスタイルにおいて、スタイル転送の性能を顕著に向上させる。
• スタイル画像に複雑な大規模パターンが含まれても、本手法は、塔や舟の人物、物体の輪郭といった顕著なコンテンツ境界を、ベースライン手法よりも効果的に保持する。
• クロスレイヤーのグラム行列は、制約が少ないにもかかわらず、レイヤー内マトリクスと同等のパターン周波数の制御を実現しており、スタイル表現がより効率的であることが示唆される。
• 乗法的損失関数は境界の可視性を向上させ、別個のスタイル重みハイパーパrameterの必要性を排除し、最適化を簡素化する。
• スタイル画像を大きなサイズ（例：768×766）にクロップした場合、クロスレイヤー手法は、円形の形状や筆致のストロークといった大規模な構造的要素を、レイヤー内手法よりも歪みが少なく保持する。
• 高速ユニバーサルクロスレイヤースタイル転送（FCT）は、元のWCT手法に比べ、特に微細な部分形状や素材のレリーフを保つ点で視覚的品質に優れ、本手法のスケーラビリティとロバスト性を示している。