[論文レビュー] Content-based Video Indexing and Retrieval Using Corr-LDA

Rahul Radhakrishnan Iyer, Sanjeel Parekh+4 more|arXiv (Cornell University)|Feb 27, 2016

Video Analysis and Summarization参考文献 31被引用数 20

ひとこと要約

本稿では、音声bag-of-words特徴を用いて動画を自動的に意味的テキスト記述語でアノテートするための確率的枠組みであるCorr-LDAを提案する。音声コンテンツとテキストの間の意味的対応関係をモデル化することで、SVMベースの手法よりも高い検索精度を達成し、トピック数が増加するにつれてパープレキシティが低下し、Fスコアが上昇する。これは、音声入力のみを用いて動画-テキスト関係の有効な学習が可能であることを示している。

ABSTRACT

Existing video indexing and retrieval methods on popular web-based multimedia sharing websites are based on user-provided sparse tagging. This paper proposes a very specific way of searching for video clips, based on the content of the video. We present our work on Content-based Video Indexing and Retrieval using the Correspondence-Latent Dirichlet Allocation (corr-LDA) probabilistic framework. This is a model that provides for auto-annotation of videos in a database with textual descriptors, and brings the added benefit of utilizing the semantic relations between the content of the video and text. We use the concept-level matching provided by corr-LDA to build correspondences between text and multimedia, with the objective of retrieving content with increased accuracy. In our experiments, we employ only the audio components of the individual recordings and compare our results with an SVM-based approach.

研究の動機と目的

• 動画検索におけるユーザーが提供するタグの疎らさの限界を解消するため、内在的な動画特徴を用いたコンテンツベースのインデクシングを可能にすること。
• 動画コンテンツとテキスト記述語の間の意味的対応関係を学習する確率的枠組みを構築し、検索精度を向上させること。
• 構造的確率的モデルを用いて、音声のみの特徴（音声bag-of-words）が動画アノテーションおよび検索にどの程度有効であるかを評価すること。
• Corr-LDAが音声コンテンツを活用することで、最小限の人的アノテーションで競争力のある性能を達成できることを示すこと。

提案手法

• Corr-LDAモデルは、d_mがキャプション内の語で、V_iが動画であるときの条件付き確率P(d_m|V_i)を学習する。これにより、動画の自動テキストアノテーションが可能になる。
• フレームワークは、音声bag-of-words（BoW）表現を動画入力として用い、音声特徴をマルチモーダルLDAフレームワークにおけるセンサリーワードとして扱う。
• パープレキシティは、観測されたキャプションが与えられたときの尤度に基づいて計算され、アノテーション品質を定量化する指標として用いられる。低い値がより良い性能を示す。
• 全語彙にわたる平均単語ごとの適合率、再現率、Fスコアを計算して、モデルのアノテーション性能を評価する。予測に存在しない語についてはモンテカルロサンプリングが用いられる。
• トピック数を5、50、100と変化させながらモデルを学習し、9654個の固有語からなるテストセットで性能を評価する。
• 事前に構築された辞書の語彙内に含まれる限り、トレーニング中に見られなかったクエリに対してもゼロショット推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 SVMベースの手法と比較して、音声コンテンツとテキスト記述語の間の意味的対応関係を効果的に学習できるか。
• RQ2 モデルのトピック数が増加するにつれて、パープレキシティとFスコアの観点から、Corr-LDAの性能はどのように変化するか。
• RQ3 視覚的またはマルチモーダル特徴を用いる手法と比較して、音声のみの特徴が、動画インデクシングおよび検索性能を競争的に達成できるか。
• RQ4 特にトレーニング語彙外の語が含まれるクエリに対して、モデルはどの程度一般化できるか。

主な発見

• パープレキシティは、トピック数が5のとき134.4591から、100のとき127.0357に低下し、トピック数が増えるにつれてアノテーション品質が向上していることが示された。
• Fスコアは、トピック数が5のとき0.03027から、100のとき0.05126に上昇し、トピック数が増えるにつれてアノテーション性能が向上していることが示された。
• 平均単語ごとの適合率と再現率も、トピック数の増加に伴い向上し、Corr-LDA-100では適合率0.05537、再現率0.04844を達成した。
• 音声特徴のみを用いても、競争力のある結果が得られた。これは、音声のみで効果的なコンテンツベースの動画検索が可能であることを示唆している。
• 希少語や存在しない語に対してもモンテカルロサンプリングを用いることで、低頻度ケースにおいても適合率と再現率の評価が安定した。