[論文レビュー] Photorealistic Style Transfer for Videos

Michael L. Honke, Rahul Iyer+1 more|arXiv (Cornell University)|Jul 1, 2018

Image Enhancement Techniques参考文献 5被引用数 9

ひとこと要約

本論文は、Luanらの写真のようなスタイル正則化とRuderらの時間的整合性損失を組み合わせることで、写真のようなビデオスタイル転送のためのディーブラーニングフレームワークを提案する。局所的アフィン変換とセマンティックセグメンテーションを統合することで、フレーム間でのスタイル転送を安定化させ、ちらつきや変形を低減した写真のような結果を達成する。

ABSTRACT

Photorealistic style transfer is a technique which transfers colour from one reference domain to another domain by using deep learning and optimization techniques. Here, we present a technique which we use to transfer style and colour from a reference image to a video.

研究の動機と目的

• ビデオシーケンスへの写真のようなスタイル転送を適用する際の時間的整合性を維持する挑戦に応えること。
• ビデオスタイル転送におけるフレームごとの最適化によって引き起こされるちらつきや視覚的アーチファクトを低減すること。
• 色空間における局所的アフィン変換を強制することで、スタイル転送中に写真らしさの質を維持すること。
• 学習されたセグメンテーションマスクを統合することで、セマンティックセグメンテーションの自動化を実現し、スタイル転送の質を向上させること。
• 写真らしさ画像スタイル転送と芸術的ビデオスタイル転送の両方の損失関数を統合し、単一の安定した最適化フレームワークに統合すること。

提案手法

• Ruderら[1]のコンテンツ損失、スタイル損失、時間的整合性損失と、Luanら[4]の写真らしさ正則化損失を統合し、統一された総損失関数を構築する。
• 色空間における局所的アフィン変換を強制するために、マッティングラプラシアンに基づく損失を適用し、スタイル転送中の画像変形を最小化する。
• Zhouら[7]を介して自動化されたセマンティックセグメンテーションマスクを追加の入力チャネルとして使用し、セマンティック領域ごとにスタイル転送をガイドする。
• スプライルオーバー効果を低減するために、セマンティッククラスごとにグラム行列の差分を計算する修正されたスタイル損失 $ L_{s+}^{l} $ を導入する。
• 光流変換を用いて、動きの軌跡に沿ったフレーム間の不一致をペナルティ化する、短期的および長期的な時間的損失を実装する。
• コンテンツと写真らしさを保持しながら、スタイライズドビデオフレームを生成するため、深層ニューラルネットワークを用いて総損失関数をエンドツーエンドで最適化する。

実験結果

リサーチクエスチョン

• RQ1 写真のようなスタイル転送を、ちらつきや時間的不整合を引き起こさずにビデオシーケンスに効果的に拡張できるか？
• RQ2 スタイル転送中に画像構造と写真らしさを保持するために、どのように局所的色空間変換を強制できるか？
• RQ3 セマンティックセグメンテーションを統合することで、スタイライズドビデオ出力の質と整合性はどの程度向上するか？
• RQ4 コンテンツ、スタイル、写真らしさ、時間的整合性を統合した損失関数は、安定的かつ高精細なビデオスタイル転送を達成できるか？
• RQ5 短期的および長期的な時間的制約は、フレーム間でビデオスタイル転送を安定化させる上で、どのように比較されるか？

主な発見

• Luanらの写真らしさ正則化を統合することで、スタイライズドビデオフレームにおける画像変形が顕著に低減され、視覚的忠実度が向上した。
• セマンティックセグメンテーションマスクの使用により、より文脈に配慮したスタイル転送が可能になり、スタイルのスプライルオーバーが低減され、領域ごとの整合性が向上した。
• 光流軌跡に基づく時間的損失は、ちらつきを効果的に低減し、連続するフレーム間の滑らかな遷移を確保した。
• 複数の損失成分を統合した統一された最適化フレームワークにより、全ビデオシーケンスにわたって安定的かつ写真らしさのあるスタイル転送が達成された。
• 複数の過去フレームを考慮する長期時間的損失は、短期的フレームごとの最適化に比べ、整合性をさらに向上させた。