[論文レビュー] Unsupervised Semantic Parsing of Video Collections

Ozan Şener, Amir Zamir+2 more|arXiv (Cornell University)|Jun 28, 2015

Video Analysis and Summarization参考文献 48被引用数 19

ひとこと要約

本論文では、人間によるアクションやオブジェクトのラベルなしに、大規模なインstructive YouTube動画のコレクションを、セマンティックな活動ステップに分解する非教師ありで統合的なビジョン・ランゲージモデルを提案する。視覚的および言語的アトムをベータ過程混合モデルとマルコフ言語モデルを用いて活用することで、最先端の性能を示す一貫性があり意味のあるストーリー展開を発見する。ベンチマークデータセット上で52.36%のIOUと44.09%のmAPを達成した。

ABSTRACT

Human communication typically has an underlying structure. This is reflected in the fact that in many user generated videos, a starting point, ending, and certain objective steps between these two can be identified. In this paper, we propose a method for parsing a video into such semantic steps in an unsupervised way. The proposed method is capable of providing a semantic "storyline" of the video composed of its objective steps. We accomplish this using both visual and language cues in a joint generative model. The proposed method can also provide a textual description for each of the identified semantic steps and video segments. We evaluate this method on a large number of complex YouTube videos and show results of unprecedented quality for this intricate and impactful problem.

研究の動機と目的

• 人間によるアクションやオブジェクトのラベルなしに、大規模なインstructive動画コレクションにおける構造的なセマンティックな活動ステップを発見すること。
• 同じカテゴリに属する動画間で共通する一貫性のある意味的ストーリー展開を推論するために、視覚的および言語的信号の同時分布をモデル化すること。
• 言語的アトムとマルコフ言語モデルを用いて、各発見された活動ステップに対して記述的なテキストラベルを生成すること。
• 複雑で現実世界の動画コレクション上でこの手法を評価し、How-To動画を超えた一般化性能を示すこと。
• 視覚と言語のモダリティが、非教師あり動画解析の精度と一貫性を向上させる上で補完的であることを検証すること。

提案手法

• まず、動画フレーム内のオブジェクト候補から視覚的アトムを抽出し、ASRで生成された字幕から言語的アトムを抽出する。
• 視覚的および言語的アトムの共起に基づき、同じカテゴリに属する動画間で共有される活動ステップを特定するために生成的ベータ過程混合モデルを用いる。
• モデルは、部分集合選択と時系列順序付けを通じて、全動画コレクションを再構築できる潜在的な活動ステップの集合を発見する。
• 各発見されたステップに関連する頻出言語的アトムを用いてマルコフ言語モデルを学習し、テキスト記述を生成する。
• 本手法は非教師ありであり、動画が同じ活動カテゴリ（例：「蝶ネクタイの結び方」）に属していることのみを要件とする。
• 視覚的および言語的モダリティを同時にモデル化することで、個々の信号に存在するノイズや不完全性を補完する。

実験結果

リサーチクエスチョン

• RQ1 統合的ビジョン・ランゲージモデルは、人間によるアクションやオブジェクトのラベルなしに、大規模な動画コレクションで意味的に意味のある活動ステップを発見できるか？
• RQ2 視覚的および言語的モダリティは、非教師あり動画解析の精度と一貫性を向上させるために、どのように補完的であるか？
• RQ3 発見された活動ステップは、How-To動画を超えて、他の構造的動画カテゴリへどの程度一般化できるか？
• RQ4 統合モデルの性能は、単一モダリティのベースラインや従来のHMMベースの手法と比較してどうなるか？
• RQ5 本手法は、各発見された活動ステップに対して正確で意味的に意味のあるテキスト記述を生成できるか？

主な発見

• 提案手法はベンチマークデータセットで52.36%のIOUと44.09%のmAPを達成し、HMMやKTSベースラインを含むすべての競合手法を顕著に上回った。
• 単一モダリティのベースラインと比較した場合、言語のみの性能が視覚のみの性能をわずかに上回るなど、両モダリティの補完的性質が顕著に示された。
• 視覚的または言語的モダリティのいずれかを除去すると性能が著しく低下し、両者の統合的モデリングの必要性が確認された。
• 主観的評価では、全モデルのセマンティックmAPが39.01%に達し、発見されたステップと人間ラベルとの間の高品質な意味的整合性を示した。
• 本手法はHow-To動画以外のカテゴリ、例えば「サンフランシスコ旅行」などに対しても成功裏に一般化でき、意味的に意味のあるランドマークや活動に基づいて動画をクラスタリングした。
• 明示的なオブジェクトやアクションカテゴリのラベルなしに、モデルは活動ステップを意味的コンセプトと強く相関させる発見をした。