[論文レビュー] Audio-to-Score Alignment using Transposition-invariant Features

Andreas Arzt, Stefan Lattner|arXiv (Cornell University)|Jul 19, 2018

Music and Audio Processing参考文献 26被引用数 7

ひとこと要約

本稿では、音声からスコアへのアラインメントを向上させるために、自己教師付きゲート付きオートエンコーダーを用いて学習された、転置不変な音声特徴を提案する。特徴量は局所的な音程間隔に基づくもので、非転置データでは最先端の性能を達成し、転置された設定ではクロマ特徴量を上回る。これは、完全な転置不変性と、曲内での複数回の転置に対しても強い耐性を示していることを示している。

ABSTRACT

Audio-to-score alignment is an important pre-processing step for in-depth analysis of classical music. In this paper, we apply novel transposition-invariant audio features to this task. These low-dimensional features represent local pitch intervals and are learned in an unsupervised fashion by a gated autoencoder. Our results show that the proposed features are indeed fully transposition-invariant and enable accurate alignments between transposed scores and performances. Furthermore, they can even outperform widely used features for audio-to-score alignment on `untransposed data', and thus are a viable and more flexible alternative to well-established features for music alignment and matching.

研究の動機と目的

• 現在の手法がピッチに敏感であるため、転置された音楽スコアにおける音声-スコアアラインメントの課題に対処すること。
• ピッチ転置に対して完全に不変である新しい特徴表現を開発し、ピッチ転置に対してもアラインメント精度を維持すること。
• ピアノおよびオーケストラ音楽の両設定において、提案された特徴量を既存のクロマ特徴量と比較して評価すること。
• 特に複雑な音楽的パートでテンポの変化に敏感であるという、転置不変特徴量の限界を調査すること。
• 異なる楽器タイプや音楽ジャンルにわたる特徴量の一般化能力を検討すること。

提案手法

• 本手法は、局所的コンテキスト（nフレーム）とターゲットフレーム間の間隔差をモデル化することで、生の音声から転置不変特徴量を学習するゲート付きオートエンコーダー（GAE）を採用する。
• GAEアーキテクチャは、最初の層で要素ごとの積を用いて、入力フレームとターゲットフレーム間の共分散および関係的構造を明示的にモデル化し、潜在空間に音程間隔をエンコードする。
• 特徴量は、GAEの学習済み潜在表現（マッピングコード）として得られ、相対的な間隔のエンコードにより、グローバルなピッチシフトに対して不変となる。
• 音声-音声アラインメントは、学習済み特徴量上で動的時間ワープ（DTW）を用いて実行され、MIDIから合成されたスコア音声をパフォーマンス音声にマッピングする。
• モデルは音声データ上で自己教師的に訓練され、転置ラベルや手動アノテーションの必要がない。
• 2つのバリエーションを評価：8G Piano（ピアノ録音で訓練）および8G Orch（オーケストラ録音で訓練）で、両データセットでクロマ特徴量と比較する。

実験結果

リサーチクエスチョン

• RQ1 ゲート付きオートエンコーダーを用いて学習された転置不変特徴量は、転置された音楽スコアにおいても正確な音声-スコアアラインメントを達成できるか？
• RQ2 非転置および転置データにおいて、クロマ特徴量と比較して、これらの特徴量のアラインメント精度はどの程度高いか？
• RQ3 単一の音楽的楽曲内で複数回の転置が発生した場合、これらの特徴量はどの程度対処できるか？
• RQ4 テンポの変化やトーンの多様性が著しい複雑なオーケストラ音楽において、これらの特徴量はどの程度の性能を示すか？
• RQ5 ピアノ録音からオーケストラ録音へと楽器タイプが変わった場合でも、これらの特徴量は一般化できるか？

主な発見

• 提案された転置不変特徴量は、非転置ピアノデータにおいて250ms以内の誤差で90%のアラインメント精度を達成し、この設定ではクロマ特徴量を上回った。
• 転置スコアでは、特徴量は高い精度（250ms以内で84%）を維持し、複数回の転置に対しても耐性がある。これに対してクロマ特徴量は、各転置ごとに再処理が必要である。
• 評価において全転置レベルで一貫した性能を示しており、ピッチ転置に対して完全に不変であることが実証された。
• オーケストラ音楽では、クロマ特徴量が8G Pianoおよび8G Orch特徴量を上回り、特にマーラーの第4番交響曲において顕著だった。これは、特徴量がテンポの変化に敏感であるためである。
• オーケストラ音楽で訓練されたにもかかわらず、8G Pianoモデルは8G Orchモデルよりもオーケストラデータに対してより良い一般化性能を示しており、トーンの違いを越えた特徴量の一般化能力を示している。
• テストデータに特徴量モデルを過学習させても、性能向上は最小限にとどまり、特徴量が特定の録音に過学習していない強固な性能であることが示された。