[論文レビュー] Unseen Action Recognition with Multimodal Learning

AJ Piergiovanni, Michael S. Ryoo|arXiv (Cornell University)|Jun 21, 2018

Multimodal Machine Learning Applications参考文献 2被引用数 3

ひとこと要約

本稿では、敵対的訓練戦略を用いてペairedおよびunpairedデータを活用することで、テキストと動画データを共有表現空間に統合的に埋め込むマルチモーダル学習フレームワークを提案する。この手法は、以前に見たことのないアクションのためのより強固で一般化可能な表現を学習することで、ゼロショット行動分類、非教師付きアクティビティ発見、未学習アクティビティのキャプション生成において最先端の性能を達成する。

ABSTRACT

We present a method to learn a joint multimodal representation space that enables recognition of unseen activities in videos. We first compare the effect of placing various constraints on the embedding space using paired text and video data. We also propose a method to improve the joint embedding space using an adversarial formulation, allowing it to benefit from unpaired text and video data. By using unpaired text data, we show the ability to learn a representation that better captures unseen activities. In addition to testing on publicly available datasets, we introduce a new, large-scale text/video dataset. We experimentally confirm that using paired and unpaired data to learn a shared embedding space benefits three difficult tasks (i) zero-shot activity classification, (ii) unsupervised activity discovery, and (iii) unseen activity captioning, outperforming the state-of-the-arts.

研究の動機と目的

• テキストと動画の両方から共同マルチモーダル表現を学習することで、動画における未学習アクションの認識という課題に取り組む。
• 学習プロセスにunpairedテキストおよび動画データを組み込むことで、未学習アクティビティへの一般化を向上させる。
• ペairedおよびunpairedデータの両方がもたらす利点を活かして、ゼロショットおよび非教師付き学習タスクの表現学習を強化する手法を開発する。
• 現実的な条件下で未学習アクション認識を評価するための新しい大規模なテキスト/動画データセットを導入する。
• ゼロショットアクティビティ分類、非教師付きアクティビティ発見、未学習アクティビティキャプションにおいて、既存手法を上回る性能を達成する。

提案手法

• ペairedデータを用いてテキストと動画の共同埋め込み空間を学習し、埋め込み空間への制約を適用して整合性を向上させる。
• unpairedテキストおよび動画埋め込みの周辺分布を一致させるために、敵対的定式化を導入し、unpairedデータからの知識移行を可能にする。
• 敵対的訓練部は、未学習アクションに一般化しやすい共有表現を学習するのを促進する。
• ペairedデータに対してコントラスト学習の目的関数と、unpairedデータに対してドメイン敵対的アライメントを用いて、エンドツーエンドでモデルを訓練する。
• フレームワークは、公開ベンチマークおよび新たに導入された大規模なテキスト/動画データセットの両方で評価される。
• 共通のエンコーダアーキテクチャを用い、モダリティ固有のヘッドを備えて共同表現学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 敵対的定式化は、未学習のテキストと動画データを効果的に一致させ、未学習アクションのための表現学習を向上させることができるか？
• RQ2 ペairedおよびunpairedデータを組み合わせることで、ゼロショット行動分類のパフォーマンスにどのような影響を与えるか？
• RQ3 共同埋め込み空間は、非教師付きアクティビティ発見および未学習アクティビティキャプションにどの程度向上をもたらすか？
• RQ4 先行の最先端手法と比較して、本手法は未学習アクションにさらに一般化しやすいか？
• RQ5 unpairedデータは、新規アクティビティを捉える表現を学習する上で、どの程度寄与するか？

主な発見

• ペairedおよびunpairedデータを活用することで、本手法はゼロショット行動分類で最先端の性能を達成する。
• unpairedテキストデータの使用は、共同埋め込み空間における未学習アクションへの一般化能力を顕著に向上させる。
• 敵対的訓練部は、テキストおよび動画特徴の周辺分布を効果的に一致させ、表現品質を向上させる。
• 非教師付きアクティビティ発見においても、本手法は既存のアプローチを上回り、新規アクティビティのクラスタリングが改善されている。
• 未学習アクティビティキャプションにおいても、本手法は優れた結果を達成し、より正確で関連性の高い記述を生成する。
• 新たに導入された大規模なテキスト/動画データセットにより、現実的で多様な条件下での未学習アクション認識のより強固な評価が可能になった。