[論文レビュー] Themes Informed Audio-visual Correspondence Learning

Runze Su, Fei Tao+7 more|arXiv (Cornell University)|Sep 14, 2020

Subtitles and Audiovisual Media被引用数 5

ひとこと要約

本論文は、動画タグを通じてテーマ情報を統合することで、短いユーザ生成動画（UGV）における対応関係学習を向上させるテーマ情報付き音声視覚対応（Ti-AVC）学習フレームワークを提案する。音声視覚マッチングとテーマ予測を統合的にモデル化することで、85,432本のショート広告動画から構成される新規リリースのKWAI-AD-AudVisデータセットにおいて、最先端のベースライン比でAUCが23.15%絶対値向上を達成した。

ABSTRACT

The applications of short-term user-generated video (UGV), such as Snapchat, and Youtube short-term videos, booms recently, raising lots of multimodal machine learning tasks. Among them, learning the correspondence between audio and visual information from videos is a challenging one. Most previous work of the audio-visual correspondence(AVC) learning only investigated constrained videos or simple settings, which may not fit the application of UGV. In this paper, we proposed new principles for AVC and introduced a new framework to set sight of videos' themes to facilitate AVC learning. We also released the KWAI-AD-AudVis corpus which contained 85432 short advertisement videos (around 913 hours) made by users. We evaluated our proposed approach on this corpus, and it was able to outperform the baseline by 23.15% absolute difference.

研究の動機と目的

• 制約のない短時間のユーザ生成動画（UGV）における、従来の音声視覚対応（AVC）手法の限界を解決すること。
• 単なる類似度を超えて、意味的テーマとモダリティ関係を考慮したAVCのための新しい原則を提案すること。
• 動画タグを間接的テーマ監視手段として用いることで、テーマ情報をAVC学習に組み込む柔軟なフレームワークを開発すること。
• ショート広告動画向けに、大規模かつコンテンツグループ化された最初の音声視覚データセットであるKWAI-AD-AudVisを収集・公開すること。
• テーマ情報付き学習が、複雑な現実世界のUGVシナリオにおけるAVC性能を顕著に向上させることを実証すること。

提案手法

• 2ストリームフレームワークを提案：モダリティ埋め込みからテーマを予測するテーマ学習（TL）ブランチと、音声と視覚入力をマッチングする対応関係学習（CL）ブランチ。
• テーマ表現のための間接的監視として動画タグを用い、テーマが複数モダリティにわたってどのように伝わるかをモデルが学習できるようにする。
• CLブランチをモダリティ埋め込みに加え、予測済み／真値のテーマラベルに条件づけて、共同学習戦略を採用する。
• 入力モダリティの重要性を定量化するために、第1層の重みの絶対値を用いた重み付き寄与分析を適用（式1）。
• TLモデルを固定し、テーマラベルをいずれのモダリティからも得られるようにする柔軟な推論設定を導入する。
• テーマに配慮した監視のもとで、対照的損失を用いたシアンズ型構造により、区別可能な音声視覚埋め込みを学習する。

実験結果

リサーチクエスチョン

• RQ1 制約のない短時間のユーザ生成動画における音声視覚対応学習に、テーマ情報を統合することで向上が図れるか？
• RQ2 意味的テーマを無視するベースライン手法と比較して、提案されたテーマ情報付きフレームワークはどのように性能を発揮するか？
• RQ3 テーマ情報が、正しい音声視覚ペairを区別するモデルの能力にどの程度寄与しているか？
• RQ4 推論時にテーマ情報が利用できない状況でも、フレームワークの性能は維持されるか？
• RQ5 音声、視覚、予測／真値のテーマといった異なるモダリティが、最終的な対応関係意思決定にどの程度寄与しているか？

主な発見

• 提案されたTi-AVCフレームワークは、KWAI-AD-AudVisデータセットにおいて、最先端のベースライン（55.58%）比でAUCが23.15%絶対値向上し、78.73%を達成した。
• テーマを入力に組み込んだベースライン（Baseline-2）は、テーマに依存しないベースラインを18.94%上回り、テーマ監視の重要性を裏付けた。
• 推論時に真値のテーマ情報がなくても、19のテーマカテゴリのうち15でベースラインを上回り、モデルの頑健性を示した。
• 音声モダリティが最終予測に最も寄与（58.78%）、次に視覚（30.85%）、真値のテーマ（5.86%）、予測テーマ（4.52%）の順であった。
• 寄与分析により、テーマ信号とモダリティ信号の両方が不可欠であることが確認され、提案されたテーマの一貫性とモダリティ関係の原則を支持した。
• TLモデルを固定し、いずれのモダリティからもテーマラベルを取得可能な柔軟性により、実世界への展開が可能であることがフレームワークの柔軟性を裏付けた。