[論文レビュー] MAAS: Multi-modal Assignation for Active Speaker Detection

Juan León-Alcázar, Fabian Caba Heilbron+2 more|arXiv (Cornell University)|Jan 11, 2021

Speech and Audio Processing参考文献 59被引用数 9

ひとこと要約

MAASは、グラフニューラルネットワークを用いて複数の視覚的スピーカー埋め込みを1つの共有音声埋め込みにマッチングする、アクティブスピーカー検出のための新規なマルチモーダル割り当てフレームワークを提案する。フレームレベルの類似度をモデル化し、動的グラフ構造を通じて時間的整合性を強制することで、微調整なしにAVA-ActiveSpeakerで88.8%の新しいSOTA mAPを達成し、より困難な新ベンチマークTalkiesでは1.7%の性能向上を達成した。

ABSTRACT

Active speaker detection requires a solid integration of multi-modal cues. While individual modalities can approximate a solution, accurate predictions can only be achieved by explicitly fusing the audio and visual features and modeling their temporal progression. Despite its inherent muti-modal nature, current methods still focus on modeling and fusing short-term audiovisual features for individual speakers, often at frame level. In this paper we present a novel approach to active speaker detection that directly addresses the multi-modal nature of the problem, and provides a straightforward strategy where independent visual features from potential speakers in the scene are assigned to a previously detected speech event. Our experiments show that, an small graph data structure built from a single frame, allows to approximate an instantaneous audio-visual assignment problem. Moreover, the temporal extension of this initial graph achieves a new state-of-the-art on the AVA-ActiveSpeaker dataset with a mAP of 88.8\%.

研究の動機と目的

• 現在のアクティブスピーカー検出手法が短時間のフレームレベルのモデリングに特化しており、複数スピーカーの曖昧さや時間的整合性の欠如に対処できないという限界を是正すること。
• 視覚的特徴を複数のスピーカーから抽出し、1つの共有音声埋め込みにマッチングするマルチモーダル割り当て問題として、アクティブスピーカー検出を再定式化すること。
• 非発話の顔面ジェスチャー（例：笑顔）や画外からの発話に起因する誤検出に対する耐性を高めるために、グラフベースの時間的モデリングを活用すること。
• 10,000件の多様で困難なクリップから構成される、既存のデータセットを超えた汎化性と転送性を評価するための新ベンチマークTalkiesを導入すること。
• 局所的特徴から構築された単純なグラフ構造が、即時の音声視覚割り当て問題を近似しつつ、長期的な時間的整合性を実現できることを示すこと。

提案手法

• 2ストリームのグラフニューラルネットワークを用いる：1つは静的でフレームレベルの接続を有し、もう1つは埋め込み空間における最近傍探索から学習された特徴に基づく動的接続を有する。
• 各ノードが顔のクロップ（視覚的特徴）を表し、1フレームごとに共有音声ノードを有するグラフを構築し、エッジは音声視覚類似度を符号化する。
• 音声ノードとの類似度が最も高い視覚的ノードがアクティブスピーカーとして特定され、グラフ畳み込み層によってマルチモーダル情報を伝搬・集約して計算される。
• 時間的整合性は、より長い時間窓にわたってグラフを拡張することで強制され、時間軸に沿った情報の流れが促進され、予測が安定化する。
• 動的ストリームは特徴空間から適応的なグラフ構造を学習し、固定トポロジーよりも高度なスピーカー間相互作用、クロスモーダル接続、および長距離音声同士の接続を可能にする。
• モデルはAVA-ActiveSpeakerで事前学習され、微調整なしにTalkiesで評価され、訓練中に画外発話を模倣する増強戦略が採用されている。

実験結果

リサーチクエスチョン

• RQ1 グラフベースのマルチモーダル割り当てフレームワークは、複数のスピーカーにわたる音声視覚対応を直接モデル化することで、アクティブスピーカー検出の性能を向上させることができるか？
• RQ2 グラフ伝搬による時間的整合性の強制は、スピーカー交代を伴う長時間でダイナミックな会話において性能にどのように影響するか？
• RQ3 標準ベンチマークで事前学習したモデルが、微調整なしに、より困難で多様な現実世界のシナリオに一般化できる程度はどの程度か？
• RQ4 動的で特徴駆動のグラフ接続は、画外発話や発話に似た顔面ジェスチャーといった曖昧な状況をどのように解消するか？
• RQ5 訓練中に画外発話を模倣する処理を導入することで、未知の複雑な音声視覚シナリオに対する耐性が向上するか？

主な発見

• MAASはAVA-ActiveSpeakerデータセットで88.8%の新しいSOTA mAPを達成し、先行手法より最低1.7%の性能向上を示した。
• 新ベンチマークTalkiesでは、AVAベースラインより7.6%、SOTAアンサンブルモデルより1.7%の性能向上を達成したが、微調整なしに実現した。
• 画外発話が混在する困難なナラティブクリップでは、mAPが64%から97.9%に向上し、誤検出に対する耐性が確認された。
• 動的グラフストリームにより、長距離音声同士のリンクやクロスタイムクロスモーダルアークといった有用な接続パターンが実現され、時間的整合性が向上した。
• 静的音声トラックをランダムに発話に置き換える単純な増強戦略により、Talkiesでの性能が0.6%向上し、未知のシナリオへの一般化能力が向上したことが示された。
• 本手法はドメインをまたいで良好に一般化する：AVA-ActiveSpeakerで事前学習し、Talkiesでテストすることで強いゼロショット性能を示し、本手法の耐性と転送性を裏付けた。