[論文レビュー] Learning Transposition-Invariant Interval Features from Symbolic Music and Audio

Stefan Lattner, Maarten Grachten+1 more|arXiv (Cornell University)|Jun 21, 2018

Music and Audio Processing参考文献 31被引用数 9

ひとこと要約

本論文では、音楽の移調に対して不変な音程表現を、楽譜データと音声データの両方から学習するためのゲート付きオートエンコーダ（GAE）を提案する。新規の移調拡張訓練手順を用いることで、音程関係を保持した固定長のベクトル表現を生成し、繰り返し音楽的セグメントを検出するタスクで最先端の性能を達成した。音声MIREXタスクにおけるF3スコアは51.61を記録し、前回の最先端手法を1.01ポイント上回った。

ABSTRACT

Many music theoretical constructs (such as scale types, modes, cadences, and chord types) are defined in terms of pitch intervals---relative distances between pitches. Therefore, when computer models are employed in music tasks, it can be useful to operate on interval representations rather than on the raw musical surface. Moreover, interval representations are transposition-invariant, valuable for tasks like audio alignment, cover song detection and music structure analysis. We employ a gated autoencoder to learn fixed-length, invertible and transposition-invariant interval representations from polyphonic music in the symbolic domain and in audio. An unsupervised training method is proposed yielding an organization of intervals in the representation space which is musically plausible. Based on the representations, a transposition-invariant self-similarity matrix is constructed and used to determine repeated sections in symbolic music and in audio, yielding competitive results in the MIREX task "Discovery of Repeated Themes and Sections".

研究の動機と目的

• 楽譜データと音声データの両方から、移調に対して不変な音程表現を学習する深層学習モデルの開発。
• 音楽においてよく見られる移調の影響を受けるにもかかわらず繰り返しセグメントを検出する課題に対処すること。
• 音程関係（例：完全八度、増四度）が意味的に適切に符号化される、音楽的に妥当な表現空間の構築。
• 特に音声ドメインにおいて、繰り返しテーマやセグメントの発見に関するMIREXタスクにおける性能の向上。
• 音声-スコア同期やメロディ検索などの応用において、効率的かつ不変な類似度計算を可能にすること。

提案手法

• 固定長かつ可逆な音楽セグメント表現を学習するため、双線形構造を有するゲート付きオートエンコーダ（GAE）を採用する。
• 再構成誤差を最小化するため、文脈と表現に基づいて現在の音符を再構築する目的関数を用いてモデルを訓練する。
• 新規の移調拡張訓練手順を導入：訓練中に入力シーケンスをランダムに移調し、モデルが移調の有無に関わらず同一の表現を出力することを学習させる。
• 移調不変な自己相関行列に対して対角検出器を適用し、音楽における繰り返しセグメントを同定する。
• 共有アーキテクチャと訓練戦略を用いて、楽譜（MIDI）と音声（スペクトログラム）の両方のデータにモデルを適用する。
• GAEにおける乗法的相互作用を活用することで、ピッチの音程差が自然に符号化され、音楽的に関連する関係を捉えることができる。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、生の楽譜および音声音楽データから、移調に対して不変な音程表現を学習できるか？
• RQ2 学習された表現空間は、完全八度の等価性や増四度の特異性といった、音楽的に意味のある音程関係を反映しているか？
• RQ3 移調不変な表現は、楽譜および音声音楽の両方において、繰り返し音楽的セグメントの検出を向上させることができるか？
• RQ4 MIREXタスクにおける繰り返しセグメント発見において、モデルの性能は最先端手法と比較してどうなるか？
• RQ5 移調に対する不変性は、音声-スコア同期やメロディ検索といった実世界の音楽解析タスクにおいて有効に機能するか？

主な発見

• モデルは、ピッチクラスが同一の音程（例：+8と-4半音）が埋め込み空間内で近接するように、音楽的に関連する音程関係を保持した移調不変な表現を学習している。
• 表現空間は音楽的構造を反映しており、増四度の音程が特徴的に分離された領域にマップされていることから、調性音楽における希少性と知覚的特異性が明確に表現されている。
• 埋め込み空間における最近傍の音楽的セグメントは、入力空間よりも多くのピッチ音程を共有しており、モデルが相対的ピッチを学習していることが確認された。
• 音声MIREXタスクにおける繰り返しセグメント発見において、F3スコアは51.61を記録し、前回の最先端手法（50.60）を1.01ポイント上回った。
• 楽譜データで訓練されたにもかかわらず、音声MIREXタスクでは楽譜MIREXタスクよりもわずかに性能が劣っているが、これは実世界の変動において正確な一致よりも近似一致（スペクトログラムによってより効果的にサポートされる）が優れているためと推測される。
• 計算効率が高く、移調不変性のおかげで、移調されたバージョンを明示的に比較する必要がなく、直接的な類似度計算が可能である。