[論文レビュー] Audio Set classification with attention model: A probabilistic perspective

Qiuqiang Kong, Yong Xu+2 more|View|Nov 2, 2017

Music and Audio Processing参考文献 12被引用数 8

ひとこと要約

本論文は、大規模な AudioSet データセットにおける音声タギングのための注目メカニズムに基づく深層学習モデルを提案し、注目を袋内インスタンス上の学習可能な確率測度として定式化する。全結合ニューラルネットワークにソフトマックス活性化を適用した注目メカニズムを用いて、mAP 0.327 を達成し、Google のベースライン（0.314）およびRNNベースのモデル（0.325）を上回る性能を発揮した。これは、袋レベル分類を学習された注目スコアで重み付けされたインスタンス予測の期待値としてモデル化することで実現された。

ABSTRACT

This paper investigates the classification of the Audio Set dataset. Audio Set is a large scale weakly labelled dataset of sound clips. Previous work used multiple instance learning (MIL) to classify weakly labelled data. In MIL, a bag consists of several instances, and a bag is labelled positive if at least one instances in the audio clip is positive. A bag is labelled negative if all the instances in the bag are negative. We propose an attention model to tackle the MIL problem and explain this attention model from a novel probabilistic perspective. We define a probability space on each bag, where each instance in the bag has a trainable probability measure for each class. Then the classification of a bag is the expectation of the classification output of the instances in the bag with respect to the learned probability measure. Experimental results show that our proposed attention model modeled by fully connected deep neural network obtains mAP of 0.327 on Audio Set dataset, outperforming the Google's baseline of 0.314 and recurrent neural network of 0.325.

研究の動機と目的

• 527クラスを有する大規模な AudioSet データセットにおける弱教師あり音声タギングの課題に取り組むこと。
• Google の全結合DNNおよびRNNベースのモデルなどの既存ベースラインを上回る分類性能を向上させること。
• 複数インスタンス学習（MIL）の文脈における注目メカニズムの新しい確率的解釈を提供すること。
• 注目重みをモデル化するための異なる非負の活性化関数（ReLU、シグモイド、ソフトマックス）の有効性を検討すること。

提案手法

• 各インスタンスの分類器および注目（確率測度）を、3層の全結合層、ReLU活性化、ドロップアウトを用いた深層ニューラルネットワークでモデル化する。
• 袋内各インスタンスの注目重みを、埋め込み表現の非負かつ正規化された関数として定義し、ソフトマックスが最も優れた性能を示した。
• 袋レベルの予測を、学習された注目スコアで重み付けされたインスタンスレベル予測の期待値として計算し、E[f_k(x) | p_k(x)] = Σ p_k(x) * f_k(x)（袋内インスタンス全体で合計）として形式化する。
• 弱教師ありの AudioSet データセットにおけるクラス不均衡を軽減するためのデータバランス戦略を適用する。
• 入力として、YouTube-100Mで事前学習されたモデルからのボトルネック特徴量を用い、1秒ごとに128次元に主成分分析（PCA）で圧縮された特徴量を抽出する。
• 全527クラスにおいて、平均平均精度（mAP）、AUC、d-prime を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 従来のプーリング戦略と比較して、学習可能な確率測度として定式化された注目メカニズムは、大規模な AudioSet データセットにおける音声タギング性能を向上させることができるか？
• RQ2 非負の活性化関数（ReLU、シグモイド、ソフトマックス）の選択が、MILフレームワーク内での注目メカニズムの性能にどのように影響するか？
• RQ3 提案された確率的注目モデルは、mAPおよびAUCの観点で、GoogleのベースラインおよびRNNベースのモデルを上回るか？
• RQ4 データバランス戦略は、AudioSetにおける長尾クラス分布におけるモデルの一般化性能をどの程度向上させるか？
• RQ5 注目メカニズムは、特徴選択に類似していることから、関連する音声イベントの局所化を効果的に行い、背景ノイズを抑制できるか？

主な発見

• ソフトマックス活性化を用いた提案モデルは、mAP 0.327 を達成し、Googleのベースライン（0.314）およびRNNと平均プーリングを組み合わせたモデル（0.325）を上回った。
• データバランス戦略を適用することで、mAPは 0.275 から 0.296 に向上し、クラス不均衡の軽減に有効であることが示された。
• 非負の活性化関数の中で、ソフトマックスがReLUおよびシグモイドを上回り、mAP 0.327、AUC 0.965、d-prime 2.558 を達成した。
• 平均プーリングおよび最大プーリングは、提案された注目メカニズムよりも性能が低く、平均プーリングではmAP 0.296、最大プーリングではmAP 0.284 を記録した。
• 注目メカニズムは、関連する音声セグメントに高い重みを割り当てることを学習し、より優れた局所化性能および背景ノイズへのロバストネスを実現した。
• 注目を学習可能な確率測度として解釈することで、音声タギングにおけるMILの文脈で、整合的かつ解釈可能なフレームワークを提供した。