[論文レビュー] Using Descriptive Video Services to Create a Large Data Source for Video Annotation Research

Atousa Torabi, Christopher Pal+2 more|arXiv (Cornell University)|Mar 3, 2015

Multimodal Machine Learning Applications参考文献 13被引用数 160

ひとこと要約

本論文は、92枚のDVDからDVS（説明音声サービス）音声トラックを自動的にセグメンテーションおよびアラインメントすることで、最小限の人的介入で得られた大規模なDVS由来の動画アノテーションデータセット（M-VAD）を提示する。音声ベースのDVSナレーション分離および一時的停止検出を用いた時間的アラインメントにより、84.6時間の動画と、職業的に作成された、時間的に正確にアラインされた自然言語記述がペアリングされた高品質なデータセットを構築した。このデータセットは、意味的・文法的に豊かな動画記述のためのディープラーニングモデルの訓練を可能にする。

ABSTRACT

In this work, we introduce a dataset of video annotated with high quality natural language phrases describing the visual content in a given segment of time. Our dataset is based on the Descriptive Video Service (DVS) that is now encoded on many digital media products such as DVDs. DVS is an audio narration describing the visual elements and actions in a movie for the visually impaired. It is temporally aligned with the movie and mixed with the original movie soundtrack. We describe an automatic DVS segmentation and alignment method for movies, that enables us to scale up the collection of a DVS-derived dataset with minimal human intervention. Using this method, we have collected the largest DVS-derived dataset for video description of which we are aware. Our dataset currently includes over 84.6 hours of paired video/sentences from 92 DVDs and is growing.

研究の動機と目的

• ディープラーニングモデルの訓練のための、大規模かつ高品質な動画記述データセットの不足に対処すること。
• 最小限の人的介入で、DVDからDVSナレーションを抽出およびアラインメントする自動手法を開発すること。
• 多様なジャンルをカバーし、プロフェッショナルレベルの記述を提供する、公開可能でバランスの取れた動画記述研究用データセットを作成すること。
• 映画の脚本やクラウドソーシングによるアノテーションに依存する従来の手法と比較して、動画・テキストペアの品質およびアラインメントを向上させること。
• DVS音声トラックからの職業的かつ時間的に正確な記述を用いて、エンドツーエンドの動画記述モデルの訓練を可能にすること。

提案手法

• 音声信号処理および一時的停止検出を用いて、混合音声トラックからDVSナレーションセグメントを自動的に分離し、自然なセグメンテーションポイントを特定する。
• 高速フーリエ変換（FFT）を用いた音声類似度分析により、DVSセグメントを検出するとともに、動画コンテンツとのアラインメントを向上させる。
• 各動画クリップに2秒の時間的バッファを適用し、DVSナレーションと視覚的コンテンツとの間の潜在的な1〜2秒のずれを補償する。
• ハイブリッド自動音声認識と人的トランスクリプションパイプラインを用いて、DVS音声のトランスクリプション精度を98％以上に達成する。
• テキスト内のすべての固有名詞を1つのトークン（例：'SOMEONE'）に置き換えることで、モデルの過学習を低減し、一般化性能を向上させる。
• ジャンルの分布が各セットに保たれるように、バランスの取れた訓練／検証／テスト分割（38,949 / 4,888 / 5,149クリップ）を構築する。

実験結果

リサーチクエスチョン

• RQ1 商業用DVDのDVS音声トラックを、動画コンテンツと自動的にセグメンテーションおよびアラインメントできるか？ その結果、大規模で高品質な動画記述データセットが構築可能か？
• RQ2 DVS由来の記述の品質およびアラインメントは、映画の脚本やクラウドソーシングによるアノテーションから得られたものと比較してどの程度優れているか？
• RQ3 データセットから固有名詞を除去することで、動画記述モデルの性能がどの程度向上するか？
• RQ4 本データセットで訓練されたLSTMベースの動画記述モデルは、意味的に有意義で文脈的に関連性のある記述を生成できるか？
• RQ5 職業的に作成された自然なペースのDVSナレーションを用いることで、合成またはクラウドソーシングによるキャプションと比較して、動画記述タスクにおける一般化性能が向上するか？

主な発見

• M-VADデータセットには、92枚のDVDから得られた84.6時間の動画と、55,904件の自然言語記述が含まれており、クリップの中央値長は6.2秒である。
• 本データセットは、知られている中で最大規模のDVS由来の動画記述データセットであり、従来の研究（46枚のDVDのみを用い、脚本とDVSを統合）を上回る。
• DVS由来の記述は高い時間的アラインメントを示しており、最大2秒のずれに留まり、文構造が洗練された複雑な文で記述されている。
• 語彙には17,609語の固有語が含まれており、そのうち9,512語が名詞、2,571語が動詞、3,560語が形容詞、857語が副詞であり、シーンの要素を詳細に記述していることが示唆される。
• 最も頻出する10語の動詞には、「見る」の5つの類義語（例：gaze, look, stare）が含まれており、ナレーションが視覚的注意や観察に焦点を当てていることを反映している。
• 定性的な結果から、本データセットで訓練されたLSTMモデルは、元のDVSナレーションに密接に一致する意味的で文脈的に関連性のある記述を生成していることが示された。