[論文レビュー] Unsupervised Learning of Semantic Audio Representations

Aren Jansen, Manoj Plakal+6 more|arXiv (Cornell University)|Nov 6, 2017

Music and Audio Processing参考文献 18被引用数 5

ひとこと要約

本論文は、時間のずれ、音の混合、時間的近接性といった意味的不変性を活用して、ラベルなし音声データを用いた非教師付き深層メトリクス学習アプローチを提案する。三重項損失を用いることで、音声イベント分類タスクで完全教師ありモデルの84％の性能を達成し、低教師あり設定では最先端の性能を2倍にまで向上させ、弱い構造的制約からの強力な一般化を示した。

ABSTRACT

Even in the absence of any explicit semantic annotation, vast collections of audio recordings provide valuable information for learning the categorical structure of sounds. We consider several class-agnostic semantic constraints that apply to unlabeled nonspeech audio: (i) noise and translations in time do not change the underlying sound category, (ii) a mixture of two sound events inherits the categories of the constituents, and (iii) the categories of events in close temporal proximity are likely to be the same or related. Without labels to ground them, these constraints are incompatible with classification loss functions. However, they may still be leveraged to identify geometric inequalities needed for triplet loss-based training of convolutional neural networks. The result is low-dimensional embeddings of the input spectrograms that recover 41% and 84% of the performance of their fully-supervised counterparts when applied to downstream query-by-example sound retrieval and sound event classification tasks, respectively. Moreover, in limited-supervision settings, our unsupervised embeddings double the state-of-the-art classification performance.

研究の動機と目的

• 明示的なクラスラベルなしで意味的な音声表現を学習すること。
• 時間の平行移動、音の混合、時間的近接性といったクラスに依存しない意味的制約を、ラベルなし音声データにおいて自己教師学習に活用すること。
• スペクトログラム窓を、類似した意味的関係を保つ低次元空間に埋め込むために、三重項損失を用いて深層畳み込みニューラルネットワークを訓練すること。
• クエリ例による検索や音声イベント分類などの下流タスクで、学習された埋め込み表現を評価すること。
• ラベルデータが限られる低教師あり環境において、性能向上を示すこと。

提案手法

• 同じイベントの時間ずれバージョン、複数イベントの混合ペア、時間的に近接するイベントの3つの意味的制約を用いて、ラベルなし音声データから三重項をサンプリングする。
• 三重項損失を用いて畳み込みニューラルネットワークを訓練し、アーキテクチャのポイントがポジティブサンプルよりもネガティブサンプルに近づくように、d次元の埋め込み空間にスペクトログラム窓をマップする。
• 対照的損失の定式化を用い、モデルがポジティブペア（例：クリアとノイズ混在のバージョン）間の距離を最小化し、ネガティブペア（例：関連のない音）間の距離を最大化するように学習する。
• トレーニングおよび評価に AudioSet データセットを活用し、カテゴリラベルなしで生の音声クリップから数百万の三重項を生成する。
• 複数の三重項タイプを統合した統合埋め込みモデルを構築し、耐性を高め、多様な意味的関係を捉える。
• クエリ例による検索や、さまざまなレベルの教師あり学習を伴う音声イベント分類といった下流タスクを用いて、学習された埋め込み表現を評価する。

実験結果

リサーチクエスチョン

• RQ1 ラベルなし音声における意味的不変性（時間のずれ、音の混合など）を活用して、明示的なラベルなしで効果的な音声表現を学習できるか？
• RQ2 弱い意味的制約に基づく三重項損失は、生のスペクトログラムと比較して、下流音声タスクへの一般化性能がどの程度向上するか？
• RQ3 時間のずれ、混合、近接性といった補完的制約を組み合わせることで、表現品質はどの程度向上するか？
• RQ4 低教師あり設定において、非教師あり埋め込み表現が完全教師ありベースラインを上回れるか？
• RQ5 標準的な音声ベンチマークにおいて、非教師あり表現と完全教師あり表現との間の性能差はどの程度か？

主な発見

• 統合非教師付き三重項モデルは、クエリ例による音声検索タスクにおいて、生のスペクトログラムと完全教師あり埋め込み表現の間の性能差の41％を回復した。
• 音声イベント分類タスクにおいて、同じ下流分類器を用いた場合、非教師あり埋め込み表現は完全教師あり表現の84％の性能を達成した。
• 1クラスあたり20件のラベル付きサンプルしか利用できない低教師あり設定では、生の入力で学習したフルのResNet-50分類器のmAPを、非教師あり埋め込みモデルが2倍にまで向上させた。
• 統合三重項セットで学習したモデルは、527クラスのAudioSet分類タスクでmAP 0.244を達成し、完全教師ありResNet-50モデルが達成したmAP 0.288の85％に相当した。
• 時間的近接性制約が最も大きな向上をもたらし、次に混合、時間の平行移動の順に効果的であり、併用することで相乗的改善が得られた。
• データオーグメンテーションとして2次元の平行移動（時間と周波数）を用いることで、初期の畳み込みフィルタのスペクトル局在化が向上し、表現品質が向上した。