[論文レビュー] Fast Video Retargeting Based on Seam Carving with Parental Labeling

Zhu Chuning|arXiv (Cornell University)|Mar 7, 2019

Visual Attention and Saliency Detection参考文献 9被引用数 4

ひとこと要約

本稿では、処理時間を短縮し、時間的整合性を向上させるために親ラベル付きのセームカービングに基づく高速な動画リターゲティング手法を提案する。1フレームあたり複数のセームを同時に除去することで、空間的・時間的エネルギーバッファに標準偏差フィルタリングを適用し、動きに敏感なエネルギー関数を統合することで、処理時間を93%削減しつつ、フレーム単位の不連続性を最小限に抑える。

ABSTRACT

Seam carving is a state-of-the-art content-aware image resizing technique that effectively preserves the salient areas of an image. However, when applied to video retargeting, not only is it time intensive, but it also creates highly visible frame-wise discontinuities. In this paper, we propose a novel video retargeting method based on seam carving. First, for a single frame, we locate and remove several seams instead of one seam at once. Second, we use a dynamic spatiotemporal buffer of energy maps and a standard deviation operator to carve out the same seams in a temporal cube of frames with low variation in energy. Last but not least, an improved energy function that considers motions detected through difference method is employed. During testing, these enhancements result in a 93 percent reduction in processing time and a higher frame-wise consistency, thus showing superior performance compared to existing video retargeting methods.

研究の動機と目的

• 従来のセームカービングによる動画リターゲティングにおける高い計算コストと時間的不整合を解決すること。
• フレーム間の顕著な視覚的コンテンツを保持しつつ、動画リターゲティングの処理時間を短縮すること。
• 連続する動画フレーム間で一貫性のないセーム除去によって生じるフレーム単位の視覚的アーチファクトを最小限に抑えること。
• 動きに敏感なエネルギー関数とセーム選択における空間的・時間的整合性を活用することで、時間的整合性を向上させること。
• 動画シーケンス向けにセームカービングパイプラインを最適化することで、リアルタイムまたはニアリアルタイムの動画リターゲティングを可能にすること。

提案手法

• 1フレームあたり1つのセームを除去するのではなく、本手法では1フレームあたり複数のセームを同時に除去することで処理を高速化する。
• 動的空間的・時間的バッファを用いて、連続するフレーム間のエネルギーマップを保存し、セーム選択の一貫性を維持する。
• エネルギーバッファに標準偏差演算子を適用し、時間的に変動が小さい領域（セーム）を特定・除去する。
• 動き検出に差分法を用いて得た動き情報を取り入れた強化エネルギー関数を導入し、顕著でない、動きに依存しない領域を優先して除去する。
• 親ラベル付けを用いて、フレーム間を横断してセームの意思決定を追跡・伝搬させ、空間的および時間的整合性を確保する。
• 動きに敏感なエネルギーと空間的・時間的フィルタリングを統合することで、フレーム間の視覚的チッキングや不連続性を低減する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてセームカービングを動画リターゲティングに最適化し、視覚的品質を損なわずに処理時間を短縮できるか？
• RQ2 どのようなメカニズムが、セームカービングに基づく動画リターゲティングにおける時間的整合性を向上させ、フレーム単位の視覚的アーチファクトを最小限に抑えるか？
• RQ3 動きに敏感なエネルギー関数は、動画シーケンスにおけるセーム選択をどの程度向上させ得るか？
• RQ4 標準偏差フィルタリングを施した空間的・時間的エネルギーバッファの使用は、動画フレーム間の一貫性をどの程度維持できるか？
• RQ5 セームの親ラベル付けは、標準的手法と比較して、動画リターゲティングの整合性とパフォーマンスを顕著に向上させるか？

主な発見

• 提案手法は、従来の動画リターゲティング用セームカービングと比較して、処理時間を93%削減した。
• 空間的・時間的エネルギーバッファに標準偏差フィルタリングを適用することで、フレーム単位の視覚的不連続性が顕著に低減した。
• 差分法による動き検出を統合することで、エネルギーマップの計算精度とセーム選択の正確性が向上した。
• 親ラベル付けにより、フレーム間で一貫したセーム伝搬が可能となり、チッキングや視覚的アーチファクトが低減した。
• 既存の動画リターゲティング技術と比較して、速度および視覚的品質の両面で優れたパフォーマンスを達成した。
• マルチセーム除去と時間的整合性メカニズムの組み合わせにより、より強固で効率的な動画リターゲティングパイプラインが実現された。