[論文レビュー] Cross-Modal and Hierarchical Modeling of Video and Text

Bowen Zhang, Hexiang Hu+1 more|arXiv (Cornell University)|Oct 16, 2018

Multimodal Machine Learning Applications参考文献 4被引用数 8

ひとこと要約

本論文では、局所的レベル（クリップ／文）とグローバルレベル（動画／段落）の階層的構造を活用して、動画とテキストの表現を共同で学習するクロスモodalモデルである階層的シーケンス埋め込み（HSE）を提案する。対応するクリップと文の間の一致をコントラスト型損失で強制し、レイヤー単位の再構成を用いることで、動画・テキストの検索、ゼロショット行動認識、動画キャプション生成の分野で最先端の性能を達成し、CIDErとゼロショット転送精度において顕著な向上を示した。

ABSTRACT

Visual data and text data are composed of information at multiple granularities. A video can describe a complex scene that is composed of multiple clips or shots, where each depicts a semantically coherent event or action. Similarly, a paragraph may contain sentences with different topics, which collectively conveys a coherent message or story. In this paper, we investigate the modeling techniques for such hierarchical sequential data where there are correspondences across multiple modalities. Specifically, we introduce hierarchical sequence embedding (HSE), a generic model for embedding sequential data of different modalities into hierarchically semantic spaces, with either explicit or implicit correspondence information. We perform empirical studies on large-scale video and paragraph retrieval datasets and demonstrated superior performance by the proposed methods. Furthermore, we examine the effectiveness of our learned embeddings when applied to downstream tasks. We show its utility in zero-shot action recognition and video captioning.

研究の動機と目的

• 階層的で多スケールの動画とテキストデータを、共通の意味的空間にモデル化する課題に対処すること。
• 局所的（クリップ／文）およびグローバル（動画／段落）レベルの両方で、対応関係を明示的にモデル化することで、クロスモーダル検索と生成の性能を向上させること。
• 微調整なしに、事前学習済み埋め込みを活用して、行動認識への有効なゼロショット転送を可能にすること。
• クリップ・文のアノテーションが不要な状況でも、動画・段落ペアのみが利用可能な場合に機能する統合学習フレームワークを構築すること。

提案手法

• HSEは、局所的レベル（クリップと文）とグローバルレベル（動画と段落）の複数スケールで、動画とテキストのシーケンスをエンコードする階層的RNNアーキテクチャ（例：GRU）を用いる。
• 対応するクリップと文の埋め込みを共通の局所的意味的空間に一致させるために、コントラスト型損失を導入し、意味的に一致する単位が埋め込み空間で近接するように保証する。
• 各レベルで構造的情報を保持するため、レイヤー単位の再構成損失を適用し、学習された表現の質を向上させる。
• グローバル（動画・段落）とローカル（クリップ・文）の両方の対応関係を同時に最適化することで、全体の階層的埋め込み空間の整合性を強化する。
• 微分可能ルーティング機構を用いて、局所レベルの対応関係を推定することで、動画・段落ペアのみで学習可能な弱い教師信号への拡張を実現する。
• 微調整なしに、事前学習済み単語ベクトル（GloVe）と動画クリップ特徴量を入力として使用する。

実験結果

リサーチクエスチョン

• RQ1 フラットなシーケンスモデルと比較して、動画とテキストの階層的モデリングがクロスモーダル検索性能を向上させるか？
• RQ2 クリップと文の間の対応関係を強制することで、グローバルな動画と段落の埋め込みの質が向上するか？
• RQ3 学習済み局所的埋め込みが、行動固有の訓練データにアクセスできない状況でも、ゼロショット行動認識に一般化可能か？
• RQ4 本手法は、特に密度キャプションに最適化されたモデルと比較して、動画キャプションタスクでどの程度の性能を示すか？
• RQ5 クリップ・文のアノテーションが明示的に存在しないが、動画・段落ペアのみが利用可能な弱い教師信号設定において、モデルが一般化可能か？

主な発見

• HSEは、B@2、METEOR、CIDErの指標において、LSTM-YT、S2VT、HRNNなどのベースラインを上回る最先端の性能を達成した。
• MSVDデータセットにおいて、HSEはCIDErスコア124.8を達成し、密度キャプションモデルDense [20]ですら上回ったが、本モデルはキャプションタスクに最適化されていない。
• ActivityNetにおけるゼロショット行動認識では、平均mAPが0.481に達し、ベースラインのFSEを大きく上回り、FV-VAEのような完全な教師ありモデルと同等の性能を示した。
• モデルは優れた一般化性能を示した：HSE [τ=0] と HSE は、ゼロショットおよび分類設定の両方でFSEを上回った。これは、階層的モデリングが局所的およびグローバル表現の両方を強化していることを示している。
• t-SNE可視化により、HSEの埋め込みが行動クラスごとにクラスタリングされていることが確認され、学習された埋め込み空間に意味的構造が保持されていることが示された。
• 事前学習済み動画埋め込みの微調整は性能向上に寄与しなかった。これは、事前学習済み表現が、下流タスクに対してすでに極めて効果的であることを示している。