[論文レビュー] DeepMovie: Using Optical Flow and Deep Neural Networks to Stylize Movies

Alexander G. Anderson, Cory P. Berg+2 more|arXiv (Cornell University)|May 26, 2016

Advanced Vision and Imaging参考文献 19被引用数 17

ひとこと要約

この論文では、時間的整合性を保つために、深層ニューラルネットワークとオプティカルフローを用いた動画のスタイル化手法を提案する。前フレームのスタイル化出力をオプティカルフローで変形して次フレームの初期化に用いることで、滑らかで物体に一致するスタイル転送を実現し、フレーム独立型や単純なフレーム間初期化手法に比べて視覚的品質が著しく向上する。

ABSTRACT

A recent paper by Gatys et al. describes a method for rendering an image in the style of another image. First, they use convolutional neural network features to build a statistical model for the style of an image. Then they create a new image with the content of one image but the style statistics of another image. Here, we extend this method to render a movie in a given artistic style. The naive solution that independently renders each frame produces poor results because the features of the style move substantially from one frame to the next. The other naive method that initializes the optimization for the next frame using the rendered version of the previous frame also produces poor results because the features of the texture stay fixed relative to the frame of the movie instead of moving with objects in the scene. The main contribution of this paper is to use optical flow to initialize the style transfer optimization so that the texture features move with the objects in the video. Finally, we suggest a method to incorporate optical flow explicitly into the cost function.

研究の動機と目的

• 動画にニューラルスタイル転送を適用する際の時間的整合性を維持する挑戦に取り組む。
• フレームごとに独立してスタイル転送を行う方法の限界を克服し、ちらつきや一貫性のないテクスチャの動きを防ぐ。
• フレームごとに初期化する際、スタイル特徴量がフレームに対して固定されたままになるという、単純なフレーム間初期化手法の欠点を改善する。
• 連続する動画フレーム間でスタイル転送最適化をガイドするためにオプティカルフローを活用する手法を開発する。
• オプティカルフローをスタイル転送のコスト関数に直接統合し、時間的整合性を向上させる。

提案手法

• Gatysらのニューラルスタイル転送を動画に拡張するため、前フレームのスタイル化出力をオプティカルフローで変形して次フレームの初期化に用いる。
• 連続する動画フレーム間でオプティカルフロー場を計算し、各画素の動きベクトルを推定する。
• 前フレームのスタイル化画像を変形したものを、次フレームの最適化プロセスにおける初期画像として使用することで、スタイル特徴量が物体とともに移動することを保証する。
• コンテンツ損失、スタイル損失（グラム行列の差異）、および全変動正則化を組み合わせた損失関数をスタイル転送最適化で使用する。
• 時間的整合性をさらに高めるために、オプティカルフローをコスト関数に明示的に組み込むことを提案する。
• 照明の変動や特殊効果に対応するため、スタイル画像にヒストグラムマッチングを適用し、耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてニューラルスタイル転送を動画に適応させ、スタイライズされたテクスチャが動く物体とともに滑らかに移動するようにできるか？
• RQ2 フレーム独立型およびフレーム間初期化手法の動画スタイル化における限界は何か。それらの限界をどのように克服できるか？
• RQ3 オプティカルフローを用いて、後続フレームのスタイル転送最適化を初期化することで、時間的整合性を向上させることができるか？
• RQ4 コスト関数にオプティカルフローを明示的に組み込むことで、スタイライズド動画の視覚的品質と一貫性はどの程度向上するか？
• RQ5 単純な画像の特性（例：照明、コントラスト）を、複雑なスタイル特徴から分離することで、芸術的コントロールを向上させることは可能か？

主な発見

• 各フレームのスタイル転送をオプティカルフローで初期化することで、視覚的品質が著しく向上し、カメラパン中にブラシストロークが物体とともに自然に動くように見える。
• 独立したフレームごとのスタイル転送や、前回にレンダリングされたフレームを初期化に用いる単純なフレーム間初期化手法に比べ、本手法は優れている。前者ではテクスチャがフレームに対して固定されて見え、動きの際に「溶ける」ように見える。
• 本手法は、遮蔽物が動いて表面が徐々に露出するようなシーン変化に対しても、一貫したスタイライズを維持できる。
• 特殊効果や複雑な照明を含むシーンに適用した場合、ワープアーチファクトが生じる場合があり、動的な照明や透過処理の処理に限界があることを示している。
• スタイル画像にヒストグラムマッチングを適用することで、照明が変化するシーンでも結果が改善され、照明の違いによる不一致が軽減される。
• 著者らは、統計的な一貫性は向上するが、芸術的意図を考慮すると、多少のフレーム間の変動があるほうが望ましい場合が多く、整合性と表現力の間にはトレードオフがあると観察している。