[論文レビュー] Learning Representations from Audio-Visual Spatial Alignment

Pedro Morgado, Yi Li+1 more|arXiv (Cornell University)|Nov 3, 2020

Music and Audio Processing参考文献 64被引用数 22

ひとこと要約

本稿では、空間音響を用いた360°動画における異なる視点からの音声と映像を空間的に整合させる自己教師あり事前学習タスクであるAudio-Visual Spatial Alignment (AVSA)を提案する。トランスフォーマーを用いたマルチビュー360°表現と対照的学習を活用することで、アクション認識、セマンティックセグメンテーション、音声視覚整合性の下流タスクで性能を向上させ、UCF101およびHMDB51においてAVCおよびAVTSベースラインを最大4%上回る。

ABSTRACT

We introduce a novel self-supervised pretext task for learning representations from audio-visual content. Prior work on audio-visual representation learning leverages correspondences at the video level. Approaches based on audio-visual correspondence (AVC) predict whether audio and video clips originate from the same or different video instances. Audio-visual temporal synchronization (AVTS) further discriminates negative pairs originated from the same video instance but at different moments in time. While these approaches learn high-quality representations for downstream tasks such as action recognition, their training objectives disregard spatial cues naturally occurring in audio and visual signals. To learn from these spatial cues, we tasked a network to perform contrastive audio-visual spatial alignment of 360° video and spatial audio. The ability to perform spatial alignment is enhanced by reasoning over the full spatial content of the 360° video using a transformer architecture to combine representations from multiple viewpoints. The advantages of the proposed pretext task are demonstrated on a variety of audio and visual downstream tasks, including audio-visual correspondence, spatial alignment, action recognition, and video semantic segmentation.

研究の動機と目的

• 従来の音声視覚自己教師あり手法が音声および映像信号における空間的ヒントを無視するという制限に対処すること。
• 空間的に豊かな360°動画とアンビソンクス音声データを活用して表現学習を向上させること。
• 異なる視点からの音声と映像を整合させることで、モデルが音源を局所化するよう促す事前学習タスクを設計すること。
• 360°動画からのマルチビュー表現をトランスフォーマーを用いて集約することで特徴学習を強化すること。
• AVSAが下流タスクにおける音声視覚理解および視覚理解タスクでAVCおよびAVTSを上回ることを実証すること。

提案手法

• 対照的学習を用いてモデルを訓練する。ポジティブペアは、同じ360°動画から異なる視点で抽出された音声と映像クリップであり、ネガティブペアは異なる動画または視点からのものである。
• カリキュラム学習戦略を適用し、初期段階ではビデオレベルの対応関係に焦点を当て、その後に空間的整合性を導入することで学習を安定化させる。
• 複数の方向からの360°動画クリップ（NFOVs）を処理し、3D CNNまたはビジョントランスフォーマーを用いて特徴を抽出する。
• トランスフォーマー構造により複数の視点からの特徴を統合し、シーンの全空間的レイアウトをモデル化することで、空間的推論を向上させる。
• 空間音響を入力として用いることで、モデルが方向性のある音声視覚対応関係を学習できるようにする。
• 最終的な表現は、対応する音声視覚ペア間で一致を最大化し、不一致ペアでは最小化するように対照的損失により最適化される。

実験結果

リサーチクエスチョン

• RQ1 自己教師あり学習は、360°動画データにおける空間的音声視覚整合性から恩恵を受けることができるか？
• RQ2 トランスフォーマーを用いてマルチビュー360°動画をモデル化することで、単一視点またはグローバルプーリングと比較して表現品質が向上するか？
• RQ3 アクション認識およびセマンティックセグメンテーションの下流タスクにおいて、AVSAはAVCおよびAVTSと比較してどのように性能を発揮するか？
• RQ4 AVSAは、ベースライン手法と比較して、音源局所化の精度をどの程度向上させるか？
• RQ5 カリキュラム学習および空間音響は、音声視覚表現の一般化を向上させるか？

主な発見

• アクション認識において、UCF101ではAVCを4%、HMDB51では3%上回り、AVTSに対してもそれぞれ3.5%および2%上回る。
• 動画セマンティックセグメンテーションにおいて優れた性能を達成し、空間的理解の向上が示された。
• GradCAMの可視化により、AVSAモデルはAVCモデルと比較して音源の局所化がより正確であることが確認された。
• マルチビュー特徴を統合するためのトランスフォーマーの使用は、360°動画理解タスクにおける性能を顕著に向上させた。
• 注意マップの定性的分析により、AVSAは音声局所化の観点から優れた性能を示した。
• 一部の既存ベンチマークと比較して5倍小さいデータセットを用いても、自己教師あり音声視覚学習分野で最先端の性能を達成した。