[論文レビュー] Contrastive Unsupervised Learning for Audio Fingerprinting

Zhesong Yu, Xingjian Du+2 more|arXiv (Cornell University)|Oct 26, 2020

Music and Audio Processing参考文献 19被引用数 4

ひとこと要約

本論文は、MoCo（モーメンタムコントラスト）手法に基づく対照的自己教師あり学習フレームワークを提案し、同じ音声の歪みを加えたバージョン（ポジティブペア）を、異なる音声トラック（ネガティブペア）と比較することで、頑健で判別力のある音声埋め込みを学習する。この手法は、ピッチシフトやスピード変更などの重度の歪みに対しても最先端の耐性を示し、VoxCeleb2-Testで84.54%のヒットレートを達成するとともに、未観測の歪みに対しても100%の一般化性能を示した。

ABSTRACT

The rise of video-sharing platforms has attracted more and more people to shoot videos and upload them to the Internet. These videos mostly contain a carefully-edited background audio track, where serious speech change, pitch shifting and various types of audio effects may involve, and existing audio identification systems may fail to recognize the audio. To solve this problem, in this paper, we introduce the idea of contrastive learning to the task of audio fingerprinting (AFP). Contrastive learning is an unsupervised approach to learn representations that can effectively group similar samples and discriminate dissimilar ones. In our work, we consider an audio track and its differently distorted versions as similar while considering different audio tracks as dissimilar. Based on the momentum contrast (MoCo) framework, we devise a contrastive learning method for AFP, which can generate fingerprints that are both discriminative and robust. A set of experiments showed that our AFP method is effective for audio identification, with robustness to serious audio distortions, including the challenging speed change and pitch shifting.

研究の動機と目的

• 音声のピッチシフト、スピード変更、エフェクトによる歪みが著しく発生する動画共有プラットフォームにおける音声識別課題に対処すること。
• Shazam や SAMAF などの既存手法を上回る、特に重度の歪み下でも頑健な音声ファングリープリンティングシステムの性能向上。
• ラベルなしデータを必要とせず、判別力があり頑健な音声表現を学習するために、自己教師あり対照的学習を活用すること。
• 事前学習中に多様な歪みを用いることで、トレーニング段階で未知の音声歪みに対しても一般化できるようにすること。
• 低ストレージオーバーヘッドで実用的であり、産業的展開に適したコンパクトでスケーラブルなファングリープリンティングシステムの開発。

提案手法

• 音声トラックとその拡張・歪みを加えたバージョンをポジティブペアとして扱い、MoCoの対照的学習フレームワークを音声ファングリープリンティングに適応する。
• 異なる音声トラックをネガティブペアとして扱い、トレーニング中に表現の判別性を高める。
• ランダムな音声劣化（例：ピッチシフト、スピード変更、圧縮、エクイライザー処理）を用いたデータオーグメンテーションにより、ポジティブサンプルを生成する。
• クエリとキーのブランチを持つ共通のエンコーダー（例：VGG-16、ResNet-18）を、キーパラメータをモーメンタム更新することでトレーニングの安定化を図る。
• 2.5秒の音声セグメントのメルスペクトログ램（128×200）から、グローバル平均プーリングとL2正規化により256次元の埋め込みを抽出する。
• エンドツーエンドのトレーニング中に、ポジティブペア間の距離を最小化し、ネガティブペア間の距離を最大化するための対照的損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 対照的自己教師あり学習は、ピッチシフトやスピード変更などの重度の歪み下でも音声ファングリープリンティングの耐性を向上させ得るか？
• RQ2 バックボーンネットワークの選択（例：VGG 対 ResNet）が、リソースが限られた自己教師あり環境下でのファングリープリンティング性能に与える影響はいかほどか？
• RQ3 対照的学習に基づくAFPシステムは、トレーニング中に観測されていなかった未知の音声歪みに対し、どの程度一般化できるか？
• RQ4 本手法は、Shazam や SAMAF といった既存システムと比較して、現実的な歪み下でのヒットレートにおいて優れているか？
• RQ5 学習されたファングリープリントのストレージ効率と大規模産業的展開におけるスケーラビリティはどの程度か？

主な発見

• ImageNetで事前学習されたVGG-16モデルが、VoxCeleb2-Testセットで最高のヒットレート84.54%を達成し、ResNetベースのモデルを上回った。
• 等化処理や圧縮歪み（トレーニング時に使用しなかったもの）に対して、VoxCeleb2-TestおよびMusic-Testの両方で100%のヒットレートを達成し、優れた一般化性能を示した。
• Shazamベースラインは、同じテストセットで0.00%のヒットレートに留まり、重度の歪み下における従来手法の限界を浮き彫りにした。
• VGG-16をImageNetで事前学習せず、音楽データに対しては99.80%のヒットレートを達成したため、音楽分野における高い判別力が示された。
• ファングリープリントはコンパクトで、3分間のトラックあたり約400 KBであり、1億トラックのデータベースを約400 GBのストレージで実現可能で、産業的利用に適している。
• 驚くべきことに、より深いネットワーク（例：ResNet-50）はVGG-16を上回らなかったため、特徴の意味的性質とモデル容量が常にAFP性能に相関しない可能性を示唆した。