[論文レビュー] Castle in the Sky: Dynamic Sky Replacement and Harmonization in Videos

Zhengxia Zou|arXiv (Cornell University)|Oct 22, 2020

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、IMU やユーザー操作を必要とせず、動的スカイのリアルタイムな置き換えと調和を実現する、完全にビジョンベースの手法を提案する。粗いから細かい段階へのスカイマッティングネットワーク、アフィンスカイモーションを仮定したモーション推定、およびワープ、ブレンド、再ライティング、色補正を実行するスカイボックスを用い、多様なハンドヘルドおよびドライブレコーダー動画において、制御可能なスカイスタイルと動的ライティングを備えた高精細で視覚的に現実的な結果を達成する。

ABSTRACT

This paper proposes a vision-based method for video sky replacement and harmonization, which can automatically generate realistic and dramatic sky backgrounds in videos with controllable styles. Different from previous sky editing methods that either focus on static photos or require inertial measurement units integrated in smartphones on shooting videos, our method is purely vision-based, without any requirements on the capturing devices, and can be well applied to either online or offline processing scenarios. Our method runs in real-time and is free of user interactions. We decompose this artistic creation process into a couple of proxy tasks including sky matting, motion estimation, and image blending. Experiments are conducted on videos diversely captured in the wild by handheld smartphones and dash cameras, and show high fidelity and good generalization of our method in both visual quality and lighting/motion dynamics. Our code and animated results are available at \url{https://jiupinjia.github.io/skyar/}.

研究の動機と目的

• プロフェッショナル映像制作ワークフロー以外の分野において、自動的かつリアルタイムな動的動画向けスカイ編集ソリューションの不足に対処すること。
• IMUデータに依存するか、静止画像に限定される従来手法の制限を克服すること。
• オンライン拡張現実とオフライン動画編集の両方のシナリオにおいて、完全に自動的でワンクリックで可能なスカイ置き換えを実現すること。
• フォアグラウンドと合成スカイの間でライティング、色調、モーションダイナミクスを調和させることで、視覚的に現実的なブレンドを達成すること。
• 天候、時間帯、カメラの動きの変動にわたる多様な現実世界の動画条件に一般化すること。

提案手法

• 境界の正確性を向上させるために、二値セグメンテーションではなくソフトスカイマットを予測する、深層学習ベースの粗いから細かい段階へのスカイマッティングネットワークを採用する。
• 空間的位置情報の事前知識を注入するために、座標畳み込み（CoordConv）層を用い、スカイ境界におけるマッティング性能を向上させる。
• スカイとスカイ上に存在する物体が無限遠にあると仮定し、フォアグラウンドに対してアフィン変換としてモデル化される相対的モーションを特徴点追跡を用いて推定する。
• 推定されたモーションパラメータを用いて選択されたスカイテンプレートをワープし、線形ブレンドを用いてフォアグラウンドと合成するスカイボックスモジュールを実装する。
• 二段階の色補正を実施する：(1) フォアグラウンドとスカイの色調を一致させるための色移動、(2) 現実性を高めるために環境照度を調整する再ライティング。
• すべてのモジュールをエンドツーエンドのリアルタイムパイプラインに統合し、オンラインおよびオフライン両方の動画処理に適した構成とする。

実験結果

リサーチクエスチョン

• RQ1 IMU やユーザー操作に依存せずに、動的スカイ置き換えを動画で実現できるか？
• RQ2 スカイ置き換えタスクにおいて、二値セグメンテーションと比較して、ソフトスカイマッティングがどのようにブレンド品質を向上させるか？
• RQ3 ビジョンベースのモーション推定が、現実世界の動画においてスカイモーションをどの程度正確にモデル化できるか？
• RQ4 色移動と再ライティングは、フォアグラウンドと合成スカイの間で視覚的調和を達成するためにどの程度効果的か？
• RQ5 夜間や模様のないスカイのような困難な条件下で、完全にビジョンベースのスカイ置き換えシステムの失敗モードは何か？

主な発見

• 提案された二段階のソフトマッティングネットワークは、わずか0.14%のPSNR向上にとどまるが、スカイ境界における視覚的品質が一時的なハードセグメンテーションや単一段階手法よりも顕著に向上する。
• 座標畳み込み層を削除すると、PSNRが0.26–0.30低下し、SSIMが0.005–0.015低下する。これは、スカイマッティングにおける空間的推論において、座標畳み込み層の重要性を確認するものである。
• 色移動と再ライティングは現実性を顕著に向上させる：色移動は色調の不一致を解消し、再ライティングは環境光の一貫性を改善する。
• 本手法は、スマートフォンやドライブレコーダーから得た多様な現実世界の動画において高精細な結果を達成し、ライティングおよびモーションダイナミクスにわたる強力な一般化性能を示す。
• 制限事項として、夜間動画ではトレーニングデータが不足しているため失敗する。また、スカイ特徴が欠落または希薄な場合、モーション推定が不正確になる。
• 本フレームワークは、日中から夜間、曇りから雨天への天候・照明の遷移を制御可能に実現でき、単なるスカイ置き換えを超えた実用的価値を示している。