[論文レビュー] Automatic Lyrics Transcription in Polyphonic Music: Does Background Music Help?

Chitralekha Gupta, Emre Yılmaz+1 more|arXiv (Cornell University)|Sep 23, 2019

Music and Audio Processing被引用数 6

ひとこと要約

本稿では、ノイズ低減の代わりにジャンルに配慮した特徴を活用することで、ポリフォニック音楽における自動歌詞転写のためのジャンル特化型音響モデル化アプローチを提案する。ジャンル固有の特徴を用いてモデルを訓練することで、複数のベンチマークデータセットで最先端の性能を達成し、従来の手法と比較して転写精度およびアライメント精度が顕著に向上する。

ABSTRACT

Background music affects lyrics intelligibility of singing vocals in a music piece. Automatic lyrics transcription in polyphonic music is a challenging task because the singing vocals are corrupted by the background music. In this work, we propose to learn music genre-specific characteristics to train polyphonic acoustic models. For this purpose, we firstly study and compare several automatic speech recognition pipelines for the application of lyrics transcription. Later, we present the lyrics transcription performance of these music-informed acoustic models for the best-performing pipeline, and systematically study the impact of music genre and language model on the performance. With this genre-based approach, we explicitly model the characteristics of music, instead of trying to remove the background music as noise. The proposed approach achieves a significant improvement in performance in the lyrics transcription and alignment tasks on several well-known polyphonic test datasets, outperforming all comparable existing systems.

研究の動機と目的

• 背景音楽の干渉によって生じる歌詞の聞き取りにくさという課題に対処すること。
• ジャンル固有の特徴をモデル化することで、歌詞転写性能が向上するかを調査すること。
• 複雑な音声に対して適用可能な自動音声認識パイプラインのさまざまな手法を比較すること。
• 歌詞転写精度に与える歌詞ジャンルおよび言語モデルの影響を評価すること。
• 音楽的背景を明示的にモデル化するシステムを構築すること、ノイズとして扱うのではなく。

提案手法

• ポリフォニック音楽環境における歌詞転写に適した自動音声認識（ASR）パイプラインの適応。
• 音声からジャンル固有の特徴を学習する音楽に配慮した音響モデルの訓練。
• 背景音楽をノイズとして除去するのではなく、信号構造の一部として扱うジャンルベースのアプローチを用いてモデル化。
• 異なる音楽ジャンルおよび言語モデルを用いて、最も性能の良いASRパイプラインを体系的に評価。
• エンドツーエンドまたはハイブリッドなモデリングフレームワークを用いて、歌詞と対応する音声セグメントをアライメント。
• 一般化を向上させるために、データセット固有のデータ拡張およびドメイン適応技術を活用。

実験結果

リサーチクエスチョン

• RQ1 ポリフォニック音楽における自動歌詞転写性能を向上させるために、音楽ジャンル固有の特徴を組み込むことは有効か？
• RQ2 ポリフォニック音声に適用した場合、さまざまなASRパイプラインの歌詞転写精度はどのように比較されるか？
• RQ3 歌詞ジャンルは、歌詞転写システムの性能にどのような影響を与えるか？
• RQ4 言語モデルは、音楽に配慮した音響モデルとどのように相互作用し、転写結果の向上に寄与するか？
• RQ5 背景音楽を構造的要素としてモデル化することは、ノイズ除去戦略を上回る性能を発揮できるか？

主な発見

• 提案されたジャンルベースの音響モデル化アプローチは、複数の有名なポリフォニックテストデータセットにおいて、歌詞転写性能を顕著に向上させる。
• 本システムは、すべての類似する既存システムを転写およびアライメントの両タスクで上回る。
• 音楽ジャンル特徴を明示的にモデル化することで、多様な音楽スタイルにわたる一般化性能および耐障害性が向上する。
• 最も性能の良いパイプラインは、ジャンル固有の音響モデル化と組み合わせることで顕著な向上を示す。
• 言語モデルは、特に音楽に配慮した特徴と統合された場合、性能向上に寄与する。
• 背景音楽の低減技術に依存せずに、最先端の結果を達成している。