[論文レビュー] Video Stitching for Linear Camera Arrays

Wei‐Sheng Lai, Orazio Gallo+4 more|arXiv (Cornell University)|Jul 31, 2019

Advanced Vision and Imaging参考文献 26被引用数 6

ひとこと要約

本論文は、線形カメラアレイを対象とした深層学習ベースの動画スターチング手法を提案する。本手法は、新規のプッシュブロム補間レイヤーを用いて、スターチングを空間的ビュー補間問題として定式化する。広基準差ビュー間での滑らかなアライメントを実現するため、密なオプティカルフローを学習することで、優れた時間的安定性とアーチファクト低減を達成し、ユーザースタディーにおいて平均95.37%の選好度を示し、最先端の学術的および商業的ソリューションを上回った。

ABSTRACT

Despite the long history of image and video stitching research, existing academic and commercial solutions still produce strong artifacts. In this work, we propose a wide-baseline video stitching algorithm for linear camera arrays that is temporally stable and tolerant to strong parallax. Our key insight is that stitching can be cast as a problem of learning a smooth spatial interpolation between the input videos. To solve this problem, inspired by pushbroom cameras, we introduce a fast pushbroom interpolation layer and propose a novel pushbroom stitching network, which learns a dense flow field to smoothly align the multiple input videos for spatial interpolation. Our approach outperforms the state-of-the-art by a significant margin, as we show with a user study, and has immediate applications in many areas such as virtual reality, immersive telepresence, autonomous driving, and video surveillance.

研究の動機と目的

• 線形カメラアレイにおける広基準差動画スターチングにおいて、継続的なスターチングアーチファクト（ゴースト、破損した物体、アライメントのずれ）を解消すること。
• フレーム単位のワープ手法が抱えるフレームレベルのジターやゆがみを回避し、時間的安定性の高いスターチングを実現すること。
• 特に強いパララックス下でも、物体の切断や消失を避けることで、物体の整合性を維持すること。
• 視覚的品質と耐障害性の両面で、商業ソフトウェアおよび先行学術的手法を上回る学習ベースのアプローチを開発すること。
• 仮想現実、自動運転、没入型監視などの応用分野における高品質パノラマ動画生成を可能にすること。

提案手法

• 複数のカメラからの入力動画フレームを、共通の円筒面に射影することで、幾何的表現を統一する。
• 入力ビュー間の双方向オプティカルフローを推定し、プッシュブロムカメラが撮影したかのような中間ビューをシミュレートする。
• 新規のプッシュブロム補間レイヤーを用いて、単一パスで微分可能かつ空間的補間を実行し、複数回のワープ処理を回避する。
• 画像品質と運動の滑らかさを向上させるために、コンテンツ損失、知覚損失、時間的整合性損失の組み合わせを用いて、エンド・ツー・エンドでネットワークを訓練する。
• 深層畳み込みニューラルネットワークを活用し、広基準差をカバーする滑らかでコンテンツに適応したアライメントを実現する密なフローフィールドを学習する。
• カメラキャリブレーションの誤差やわずかな基準差のずれに対しても耐性を高めるために、ファインチューニングを適用する。

実験結果

リサーチクエスチョン

• RQ1 既存手法と比較して、学習ベースのアプローチは、広基準差動画スターチングにおけるゴーストやアライメントのずれを顕著に低減できるか？
• RQ2 フレームレベルのジターやゆがみを引き起こさずに、動画スターチングの時間的安定性をどのように向上させられるか？
• RQ3 深層ニューラルネットワークは、パノラマスターチングにおいて物体の形状をどれほど正確に保持でき、物体の切断や消失を防げるか？
• RQ4 微分可能プッシュブロム補間レイヤーは、複数ステップのワープや最適化ベースの手法と比較して、より効率的に高品質な動画スターチングを実現できるか？
• RQ5 実世界のユーザーパフォーマンス評価において、本手法は商業ソフトウェアおよび最先端の学術的アプローチと比較して、どのように評価されるか？

主な発見

• ユーザースタディーにおいて、本手法は95.37%の選好度を達成し、AutoPano Video（90.74%）、NVIDIA VRWorks（97.22%）、STCPW（98.15%）を上回った。
• ユーザーは、主に破損した物体が少ない（84.74%の選好）ことと、ゴーストが少ない（85.71%の選好）ことにより、本手法を好んだ。類似とされた比較はわずか3.88%にとどまった。
• 特に強いパララックスを伴う動的シーンにおいて、AutoPano Video や NVIDIA VRWorks といった商業ツールよりも、ゴーストやアライメントのずれをより効果的に低減した。
• プッシュブロム補間レイヤーにより、中間ビューの生成が単一パスで効率的に行われ、複数回のバイリニアワープ処理の計算負荷を回避できた。
• カメラキャリブレーションの変動に対しても、側面カメラが元の基準差の62.5%まで内側にずれても、PSNR低下が1dB未満にとどまった。
• ネットワークのファインチューニングにより、基準差のずれに起因する誤差が低減され、実世界のキャリブレーション誤差に対しても適応性があることが示された。