[論文レビュー] An Experimental Analysis of the Entanglement Problem in Neural-Network-based Music Transcription Systems

Rainer Kelz, Gerhard Widmer|arXiv (Cornell University)|Jan 31, 2017

Music and Audio Processing被引用数 9

ひとこと要約

この論文は、標準的なベンチマークで高い性能を示すにもかかわらず、未学習の音符コンビネーションに一般化できない神経ネットワークベースの音楽譜書き込みシステムにおけるエンタングルメント問題を調査する。ピアノ譜書き込みの実験を通じて、混合音符コンビネーションで学習したモデルが個々の音符を分離できず、新しいコードコンビネーションに対して高い省略率を示すことが明らかになった—これは現在のディープラーニング手法におけるポリフォーニック譜書き込みの根本的な制限を示している。

ABSTRACT

Several recent polyphonic music transcription systems have utilized deep neural networks to achieve state of the art results on various benchmark datasets, pushing the envelope on framewise and note-level performance measures. Unfortunately we can observe a sort of glass ceiling effect. To investigate this effect, we provide a detailed analysis of the particular kinds of errors that state of the art deep neural transcription systems make, when trained and tested on a piano transcription task. We are ultimately forced to draw a rather disheartening conclusion: the networks seem to learn combinations of notes, and have a hard time generalizing to unseen combinations of notes. Furthermore, we speculate on various means to alleviate this situation.

研究の動機と目的

• フレームごとの結果が優れているにもかかわらず、最新のポリフォーニック音楽譜書き込み用ニューラルネットワークの性能がなぜプラトーに達するのかを調査すること。
• 限られた訓練データ下で、ディープニューラルネットワークが個々の音符を学習するのか、それとも特定の音符コンビネーションを学習するのかを特定すること。
• アーキテクチャの違いが、音楽譜書き込みにおける未学習の音符コンビネーションへの一般化に与える影響を評価すること。
• 特に新しいコード進行の処理において、ニューラル譜書き込みシステムの性能が飽和する根本的要因を同定すること。

提案手法

• MAPS-MUSデータセットを用いて、フレームごとのピアノ譜書き込みのため、ConvNet、SmallConvNet、AUNetの3つのニューラルネットワークアーキテクチャを訓練した。
• 訓練における個々の音符とコンビネーションの影響を分離するために、合成データセットを用い、制御されたアブレーションスタディを可能にした。
• 標準的なディープラーニング技術を適用：ReLU活性化関数を用いた全結合層および畳み込み層、交差エントロピー損失を用いた教師あり学習。
• 特徴表現の向上を目的として、UNetアーキテクチャ（AUNet）を、時間的および周波数的マルチスケール情報を統合するように変更した。
• 訓練および検証データセットにおける共有および非共有の音符コンビネーションについて、正確な譜書き込み率、音符省略率、音符追加率を用いてモデルを評価した。
• 誤差パターンの分析として、混同行列およびフレームレベルの誤差分解を用い、未学習の音符コンビネーションの分離に失敗する一貫性のある失敗要因を同定した。

実験結果

リサーチクエスチョン

• RQ1 音楽譜書き込み用ニューラルネットワークは、個々の音符を分離するのを学習するのか、それとも特定の音符コンビネーションにのみ学習するのか？
• RQ2 訓練データに存在しない未学習の音符コンビネーションでテストした場合、モデルの性能はどの程度劣化するのか？
• RQ3 アーキテクチャの選択（例：UNet 対 ConvNet）が、未学習の音符コンビネーションへの一般化にどの程度影響を与えるのか？
• RQ4 最新のシステムにおける性能の上限は、潜在空間における音符表現のエンタングルメントに起因しているとみなせるか？
• RQ5 訓練データの構成（個別音符対コード）が、モデルが新しいコンビネーションに一般化する能力に果たす役割は何か？

主な発見

• 音符コンビネーションのみで訓練されたモデルは、新しいコードコンビネーションに対して高い省略率を示し、未学習の音符グループ化への一般化が著しく劣化していることがわかった。
• たとえ最新のモデルであるConvNet や AUNet でさえ、共有コンビネーションでは高い性能を示すが、非共有コンビネーションでは悲観的な失敗を示し、一部のレアコンビネーションでは省略率が50％を超えることがわかった。
• AUNetアーキテクチャは共有コンビネーションではConvNetよりわずかに高い正確な譜書き込み率を示したが、非共有コンビネーションでは同様の失敗パターンを示しており、アーキテクチャそのものがエンタングルメントを解消するわけではないことが示唆された。
• 個別音符での訓練はわずかな一般化問題にとどまるため、根本的な問題は音響的ばらつきに起因するのではなく、表現のエンタングルメントにあると示唆された。
• 両モデルが標準ベンチマークで最新の性能を達成または上回っていることから、性能の劣化は最適でないハイパーパrameterに起因するものではないことがわかった。
• 結果から、固定された音楽的楽曲セットに依存する現在の訓練パラダイムが、モデルがコンビネーションを記憶するだけで、分離された音符表現を学習しないようにエンタングルメントを引き起こしていることが示唆された。