[論文レビュー] Fast forwarding Egocentric Videos by Listening and Watching

Vinicius S. Furlan, Růžena Bajcsy+1 more|arXiv (Cornell University)|Jun 12, 2018

Video Analysis and Summarization参考文献 8被引用数 6

ひとこと要約

本論文では、オーディオからの心理音響的不快度指標と、不安定性、外観、動きといった視覚的特徴を組み合わせることで、エゴセントリック動画の高速再生を実現する新規手法を提案する。本手法は、大多数の動画で10倍の高速再生を達成するとともに、不快なオーディオセグメントを低減するが、最先端の視覚特徴のみに依存する手法と比較してわずかに高い不安定性を示す。

ABSTRACT

The remarkable technological advance in well-equipped wearable devices is pushing an increasing production of long first-person videos. However, since most of these videos have long and tedious parts, they are forgotten or never seen. Despite a large number of techniques proposed to fast-forward these videos by highlighting relevant moments, most of them are image based only. Most of these techniques disregard other relevant sensors present in the current devices such as high-definition microphones. In this work, we propose a new approach to fast-forward videos using psychoacoustic metrics extracted from the soundtrack. These metrics can be used to estimate the annoyance of a segment allowing our method to emphasize moments of sound pleasantness. The efficiency of our method is demonstrated through qualitative results and quantitative results as far as of speed-up and instability are concerned.

研究の動機と目的

• ウェアラブルデバイスから得られる豊富なオーディオ情報を見過ごす、視覚的特徴に依存する既存の動画高速再生手法の限界を是正すること。
• 騒々しい群衆や高デシベル環境などの不快なオーディオセグメントを回避することで、長時間のエゴセントリック動画におけるユーザーエクスペリエンスを向上させること。
• マルチモーダル（音声・視覚）の意味的スコアリングを通じて、時間的連続性を保持しつつ高スルーレートの動画要約を実現する手法を開発すること。
• 心理音響的指標が、不快なオーディオコンテンツを特定・低減することで、動画要約を効果的に導けることを示すこと。

提案手法

• 心理音響的特徴のセグメントごとの分析を可能にするために、エゴセントリック動画のオーディオを3秒のスライスに分割する。
• 音量、きらめき、粗さを用いて心理音響的不快度（PA）指標を計算し、各オーディオセグメントの知覚的不快度を推定する。
• フレームの不安定性（焦点の拡大を介して）、外観（色ヒストグラムの地球移動距離）、動き（光流の大きさ）といった視覚的特徴を抽出する。
• PA指標と視覚的特徴を線形スコアに統合し、各動画セグメントの意味的関連性を割り当てる。
• 統合された意味的スコアを基に動画合成を制御し、時間的流れを維持するとともに、高不快度セグメントを避けるハイパーレイプを生成する。
• 最終的な動画に10倍の高速再生要因を適用し、フレーム選択を意味的スコアに重み付けすることで、快適で意味のある瞬間を優先する。

実験結果

リサーチクエスチョン

• RQ1 視覚特徴のみに依存する手法と比較して、オーディオからの心理音響的指標が、高速再生されたエゴセントリック動画の品質を向上させられるか？
• RQ2 音声に基づく不快度推定を組み込むことで、ハイパーレイプ動画の快適さと安定性にどのような影響を与えるか？
• RQ3 音声特徴を用いることで、騒々しい群衆などの不快なオーディオセグメントがどれほど効果的に排除できるか？
• RQ4 視覚特徴のみに依存する最先端の手法と比較して、本手法は高速再生率、不安定性、知覚的品質の観点でどのように差をつけるか？
• RQ5 マルチモーダル（音声・視覚）アプローチは、エゴセントリック動画要約において、高スルーレートと低知覚的不快度の両立を達成できるか？

主な発見

• 提案手法は、11個の動画セグメントのうち10個で10倍の高速再生を達成し、MIFFベースラインと同等またはそれを上回った。
• 最終的なハイパーレイプの平均心理音響的不快度（PA）スコアは22.2であり、MIFF手法の23.2より低く、不快なオーディオセグメントが少ないことを示している。
• 提案手法の不安定性インデックスは平均38.9であり、MIFFの37.2よりわずかに高いが、音声品質の向上のためのわずかな運動のなめらかさの犠牲であると示唆されている。
• 定性的な結果から、高PAセグメント（例：騒々しい音楽や群衆）が顕著に低減されており、低PAセグメント（例：静かな通り）は低速再生で保持されている。
• 心理音響的指標を活用することで、突然の大きな音や連続した背景ノイズなどの高不快度音声コンテンツが効果的に回避された。
• 音声と視覚的特徴の組み合わせにより、わずかな時間的安定性の犠牲を払っても、より知覚的に快適な高速再生動画を実現できた。