[論文レビュー] Audio-aware Query-enhanced Transformer for Audio-Visual Segmentation

Jinxiang Liu, Chen Ju+4 more|arXiv (Cornell University)|Jul 25, 2023

Speech and Audio Processing被引用数 5

ひとこと要約

本稿では、音声に注意を向ける学習可能クエリをデコーダーに組み込むことで、音声の発生するオブジェクトに注目し、静音だが顕著なオブジェクトを抑制する、音声視覚セグメンテーションのための新規マルチモーダルトランスフォーマー枠組みであるAudio-aware Query-enhanced Transformer (AuTR) を提案する。自己注意機構による長距離の文脈モデリングと、インスタンス固有のマスク予測に向けた動的畳み込みを活用することで、AuTRはマルチサウンドおよびオープンセットAVSベンチマークで最先端の性能と優れた一般化性能を達成した。

ABSTRACT

The goal of the audio-visual segmentation (AVS) task is to segment the sounding objects in the video frames using audio cues. However, current fusion-based methods have the performance limitations due to the small receptive field of convolution and inadequate fusion of audio-visual features. To overcome these issues, we propose a novel extbf{Au}dio-aware query-enhanced extbf{TR}ansformer (AuTR) to tackle the task. Unlike existing methods, our approach introduces a multimodal transformer architecture that enables deep fusion and aggregation of audio-visual features. Furthermore, we devise an audio-aware query-enhanced transformer decoder that explicitly helps the model focus on the segmentation of the pinpointed sounding objects based on audio signals, while disregarding silent yet salient objects. Experimental results show that our method outperforms previous methods and demonstrates better generalization ability in multi-sound and open-set scenarios.

研究の動機と目的

• 従来の統合ベース手法の限界、特に畳み込み層の小さな受容 field と不十分な音声視覚特徴の統合を解消すること。
• マルチモーダルトランスフォーマーのアーキテクチャを用いて、音声と視覚特徴の深く長距離にわたる統合を可能にし、セグメンテーションの正確性を向上させること。
• 静音だが視覚的に顕著な干渉要因を無視し、音声が発生するオブジェクトに明示的に注目させるようにモデルを誘導すること。
• 複数の音声やオープンセット設定のような複雑な状況において、モデルが未知の音声カテゴリをテスト時に遭遇する際の一般化性能を向上させること。

提案手法

• 自己注意機構を用いて視覚的および音声的特徴を共同でモデリングするマルチモーダルトランスフォーマーのエンコーダーを採用し、畳み込み層の制限を超えた長距離の文脈モデリングを可能にする。
• トランスフォーマーのデコーダーに音声に注意を向ける学習可能クエリを導入し、音声視覚特徴に注目させることで、セグメンテーション中に音声が発生するオブジェクトにモデルの注目を明示的に誘導する。
• 動的畳み込みを用いてマスクを予測し、畳み込みカーネルのパラメータをクエリ特徴に基づいてデコーダーが生成することで、インスタンス固有のマスクの微調整を可能にする。
• トレーニング中に予測マスクと正例インスタンスを一対一にマッチングさせるバイパルマッチングを適用し、監督信号の強化とトレーニングの安定性を向上させる。
• 事前学習済みの視覚的エンコーダー（ResNet50、PVT-v2）とVGGishを用いて音声特徴を抽出し、その後、トランスフォーマーとデコーダーモジュールを介して特徴を統合・精錬する。
• マルチスケール特徴を統合し、動的畳み込みモジュールを用いて高解像度のマスク予測を生成するためのピクセルデコーダーを採用する。

実験結果

リサーチクエスチョン

• RQ1 畳み込みベースの統合と比較して、音声に注意を向けるクエリを備えたマルチモーダルトランスフォーマーは、音声と視覚特徴の統合を改善し、セグメンテーションの正確性を向上させることができるか？
• RQ2 デコーダーに音声に注意を向けるクエリを導入することで、静音だが顕著な干渉要因を抑制しながら、音声が発生するオブジェクトにのみ局在化する能力が向上するか？
• RQ3 未知の音声カテゴリを推論時に遭遇する可能性があるマルチサウンドおよびオープンセットシナリオにおいて、提案されたAuTRフレームワークはどのように一般化するか？
• RQ4 固定された畳み込みヘッドと比較して、クエリ依存のカーネルを用いた動的畳み込みは、マスク予測の品質をどの程度向上させるか？
• RQ5 提案されたアーキテクチャは、閉じたセットおよびオープンセットAVSベンチマークの両方において、TAPVIなどの従来のエンコーダー統合デコーダーのベースラインを上回る性能を示すか？

主な発見

• PVT-v2バックボーンを用いたS4ベンチマークにおいて、AuTRは80.4%のmIoUを達成し、TPAVIベースラインを4.74ポイント上回った。
• オープンセットAVSベンチマークでは、PVT-v2を用いた場合、未学習カテゴリで66.22%のmIoUを達成し、TPAVIを10.36ポイント上回ったが、学習済みから未学習カテゴリへの性能低下は見られた。
• S4で学習した重みを用いてMS3サブセットで微調整した場合、AuTRはResNet50を用いて6.59ポイントのmIoU向上を示したのに対し、TPAVIは3.56ポイントの低下を示し、優れた一般化性能を示した。
• アブレーションスタディの結果、音声に注意を向けるクエリや動的畳み込みを削除すると、それぞれ79.6%および79.5%のmIoUに低下し、これらがフレームワークにおいて重要な役割を果たしていることを裏付けた。
• 定性的な結果では、AuTRは複雑なマルチサウンドシーンにおいても、音声が発生するオブジェクトのみを正確にセグメンテーションしているのに対し、TPAVIは静音だが顕著なオブジェクトを予測に含める傾向にあった。
• PVT-v2を用いた場合、AuTRは0.891のF-measureを維持し、多様なテストシナリオにおいて優れた境界と精度性能を示した。