[論文レビュー] TriBERT: Full-body Human-centric Audio-visual Representation Learning for Visual Sound Separation

Tanzila Rahman, Mengyu Yang+1 more|arXiv (Cornell University)|Oct 26, 2021

Speech and Audio Processing被引用数 10

ひとこと要約

TriBERT は、視覚、音声、人体ポーズキーポイントの3つのモダリティを、クロスアテンション機構を用いて統合的に学習する3モダリティトランスフォーマー・アーキテクチャである。MUSIC21 データセットを弱教師あり学習および音源分離の目的関数で事前学習することで、音声・視覚・音源分離タスクで最先端の性能を達成し、クロスモダリティ音声・視覚・ポーズ検索などの下流タスクにおいて、トップ1正答率が最大66.7%向上した。

ABSTRACT

The recent success of transformer models in language, such as BERT, has motivated the use of such architectures for multi-modal feature learning and tasks. However, most multi-modal variants (e.g., ViLBERT) have limited themselves to visual-linguistic data. Relatively few have explored its use in audio-visual modalities, and none, to our knowledge, illustrate them in the context of granular audio-visual detection or segmentation tasks such as sound source separation and localization. In this work, we introduce TriBERT -- a transformer-based architecture, inspired by ViLBERT, which enables contextual feature learning across three modalities: vision, pose, and audio, with the use of flexible co-attention. The use of pose keypoints is inspired by recent works that illustrate that such representations can significantly boost performance in many audio-visual scenarios where often one or more persons are responsible for the sound explicitly (e.g., talking) or implicitly (e.g., sound produced as a function of human manipulating an object). From a technical perspective, as part of the TriBERT architecture, we introduce a learned visual tokenization scheme based on spatial attention and leverage weak-supervision to allow granular cross-modal interactions for visual and pose modalities. Further, we supplement learning with sound-source separation loss formulated across all three streams. We pre-train our model on the large MUSIC21 dataset and demonstrate improved performance in audio-visual sound source separation on that dataset as well as other datasets through fine-tuning. In addition, we show that the learned TriBERT representations are generic and significantly improve performance on other audio-visual tasks such as cross-modal audio-visual-pose retrieval by as much as 66.7% in top-1 accuracy.

研究の動機と目的

• 音声・視覚・人体ポーズを統合する多モダリティ表現学習モデルが、音源分離のような細粒度な音声・視覚タスクを対象としないという問題に対処する。
• 分離を越えて多様な音声・視覚タスクに適用可能な汎用的かつ文脈に配慮した表現学習フレームワークを開発する。
• 特に人間中心の音響イベントにおいて、ポーズキーポイント表現をモダリティとして統合することの有効性を検証する。
• 単一音源仮定に依存するか、浅いファージョンにとどまる既存手法の限界を克服し、階層的かつ文脈に配慮したクロスモダリティ・アテンションを可能にする。
• トランスフォーマーに基づくマルチストリーム相互アテンションが、分離および検索ベンチマークの両方で既存アーキテクチャを上回ることを示す。

提案手法

• TriBERT は、視覚、音声、ポーズキーポイントモダリティを統合的にモデル化するための共注意力ブロックを備えた3ストリームトランスフォーマー・アーキテクチャを採用する。
• 固定フレーム特徴量に代わる空間的アテンションに基づく学習可能な視覚トークン化スキームを導入する。
• 単一音源仮定を必要とせず、クロスモダリティ相互作用を可能にするために弱教師あり目的関数を用いる。
• タスク固有の特徴学習を強化するため、スペクトログラムマスク予測タスクを事前学習目的として導入する。
• 単一モダリティ分類と音源分離の目的関数の組み合わせを用いて、大規模な MUSIC21 データセット上でモデルを事前学習する。
• クロスアテンション機構により、事前学習および微調整の両段階で、3つのモダリティ間で動的かつ文脈に配慮した特徴統合が可能になる。

実験結果

リサーチクエスチョン

• RQ1 視覚、音声、ポーズキーポイントモダリティに同時に注目するトランスフォーマー・ベースのモデルは、音声・視覚音源分離タスクの性能を向上させることができるか？
• RQ2 人間ポーズをモダリティとして統合することで、特に人間中心のシーンにおける音声関連タスクの表現品質が向上するか？
• RQ3 TriBERT が学習した表現は、分離を越えて、音声・視覚・ポーズ検索のような他の音声・視覚タスクに一般化可能か？
• RQ4 学習可能な視覚トークン化と弱教師あり目的関数を備えた TriBERT のアーキテクチャは、既存手法と比較して性能および頑健性において優れているか？
• RQ5 3モダリティの相互アテンション機構は、モダリティ間で意味的に整合した、意味のある表現を学習するのにどの程度貢献しているか？

主な発見

• 微調整後、TriBERT は MUSIC21 データセット上で音声・視覚音源分離タスクで最先端の性能を達成した。
• TriBERT は、ベースライン手法と比較して、クロスモダリティ音声・視覚・ポーズ検索のトップ1正答率を最大66.7%向上させた。
• TriBERT の埋め込みを用いた検索は、テストされた5つの検索バリアントすべてにおいて、事前トランスフォーマー特徴量やランダム選択と比較して顕著に優れた性能を示した。
• 視覚＋音声 → ポーズの検索バリアントはパrameter数が多くても、音声 → ポーズのバリアントに比べて性能が劣っており、モダリティの組み合わせ方やアーキテクチャ設計が性能に大きく影響することが示された。
• 定性的な結果から、TriBERT の表現は意味的に整合した関係を学習しており、トップ5の検索結果で同様の楽器クラスが正しく検出されたことが裏付けられた。
• 事前学習目的としてスペクトログラムマスク予測を用いることで、分離タスクに特化した文脈に配慮した特徴の学習能力が向上した。