[論文レビュー] Relation-guided acoustic scene classification aided with event embeddings

Yuanbo Hou, Bo Soo Kang+2 more|arXiv (Cornell University)|May 1, 2022

Music and Audio Processing被引用数 5

ひとこと要約

本稿では、疑似ラベル付きの音声イベントと学習されたシーン-イベント関係行列を活用することで、音声シーン分類の精度を向上させる関係誘導型音声シーン分類（RGASC）モデルを提案する。TUT2018データセット上で2タワー型CNNを共同で学習することで、シーン内でのイベント頻度に関する事前知識を用いて、細分化されたイベント特徴と粗いシーンラベルの融合を誘導し、メトロ駅では17.38%、歩行者通りでは13.36%の精度向上を達成した。

ABSTRACT

In real life, acoustic scenes and audio events are naturally correlated. Humans instinctively rely on fine-grained audio events as well as the overall sound characteristics to distinguish diverse acoustic scenes. Yet, most previous approaches treat acoustic scene classification (ASC) and audio event classification (AEC) as two independent tasks. A few studies on scene and event joint classification either use synthetic audio datasets that hardly match the real world, or simply use the multi-task framework to perform two tasks at the same time. Neither of these two ways makes full use of the implicit and inherent relation between fine-grained events and coarse-grained scenes. To this end, this paper proposes a relation-guided ASC (RGASC) model to further exploit and coordinate the scene-event relation for the mutual benefit of scene and event recognition. The TUT Urban Acoustic Scenes 2018 dataset (TUT2018) is annotated with pseudo labels of events by a simple and efficient audio-related pre-trained model PANN, which is one of the state-of-the-art AEC models. Then, a prior scene-event relation matrix is defined as the average probability of the presence of each event type in each scene class. Finally, the two-tower RGASC model is jointly trained on the real-life dataset TUT2018 for both scene and event classification. The following results are achieved. 1) RGASC effectively coordinates the true information of coarse-grained scenes and the pseudo information of fine-grained events. 2) The event embeddings learned from pseudo labels under the guidance of prior scene-event relations help reduce the confusion between similar acoustic scenes. 3) Compared with other (non-ensemble) methods, RGASC improves the scene classification accuracy on the real-life dataset.

研究の動機と目的

• 音声シーンとイベントの両方のアノテーションを備えた実世界のデータセットの不足に対処する。
• 音声シーン分類とイベント分類を独立したタスクとして扱うという制限を克服する。
• シーンとイベントの間の暗黙的で現実世界に即した関係を活用して、分類性能を向上させる。
• 検証されていない疑似ラベルでさえ、シーン-イベント関係によって誘導されれば、シーン分類の性能向上に寄与することを示す。
• シーン認識とイベント認識の間で双方向の知識移譲を可能にする共同学習フレームワークを構築する。

提案手法

• TUT2018データセット上で527種類の音声イベントクラスについて、事前学習済みのPANNモデルを用いて疑似ラベルを生成する。
• 各シーンクラスごとのイベント確率の平均として、事前分布としてのシーン-イベント関係行列 $ R_{SE} $ を構築する。
• 共有された特徴抽出と $ R_{SE} $ を用いたクロスアテンション統合を備えた2タワー型CNNアーキテクチャを設計する。
• シーン分類およびイベント分類の両方のタスクに対してマルチタスク学習を用いて、モデルをエンドツーエンドで訓練する。
• 埋め込み空間のクラスタリングと誤りの低減を分析するため、t-SNE可視化を適用する。
• PANN（教師）を基に、AECタワー（生徒）にイベント表現知識を転移させる知識蒸留の原則を適用する。

実験結果

リサーチクエスチョン

• RQ1 現実世界のシーン-イベント関係によって誘導される疑似ラベル付き音声イベントは、音声シーン分類の精度向上に寄与するか？
• RQ2 学習されたシーン-イベント関係行列を組み込むことで、類似した音声シーンの識別性はどのように向上するか？
• RQ3 検証されていない疑似ラベルでさえ、どの程度までシーン分類性能の向上に寄与できるか？
• RQ4 関係誘導型統合を備えた2タワー型モデルは、標準的なマルチタスク学習や単一タスクのベースラインを上回る性能を示せるか？
• RQ5 関係誘導型統合は、バスとトランジット、交通と公園のようないずれも音響的に類似したシーン間の誤りを低減するか？

主な発見

• RGASCは、ベースラインのpuASCと比較して、メトロ駅クラスで17.38%、歩行者通りクラスで13.36%の精度向上を達成した。
• 本モデルは、交通クラスで90.24%、空港クラスで86.42%の精度を達成し、ベースラインのpuASCモデルを上回った。
• t-SNE可視化により、RGASCの埋め込み空間では、類似したシーン（例：バス/トランジット、広場/公園）のクラスタリングが明確に分離されていることが示され、誤りの低減が確認された。
• 検証されていないラベルであっても、シーン-イベント関係行列が疑似ラベル付きイベント情報の統合を効果的に誘導していることが示された。
• AECタワーは、疑似ラベルから意味のあるイベント表現を学習し、その結果、シーン分類器が類似したシーンをより明確に識別できるようになった。
• 事前学習済みモデル（PANN）から生徒のAECタワーへの知識蒸留が、シーン-イベント関係によって誘導されることで、シーン分類の性能向上が達成されたことが示された。