[論文レビュー] OrchideaSOL: a dataset of extended instrumental techniques for computer-aided orchestration

Carmine-Emanuele Cella, Daniele Ghisi+4 more|arXiv (Cornell University)|Jul 1, 2020

Music and Audio Processing参考文献 9被引用数 11

ひとこと要約

OrchideaSOL は、元の Studio On Line (SOL) レコーディングから得られた拡張された演奏法の自由で高精細なデータセットであり、正確なダイナミックレンジを回復させ、ターゲット指向のコンピュータ支援オーケストレーションに適した一貫性を確保するために再処理されたものである。本バージョンは、近接マイク（トラック3）の使用、44.1 kHz へのリサンプリング、およびラウドネス補正 RMS 正規化を導入することで、以前のバージョンを改善しており、Orchidea などのシステムにおけるより現実的なオーケストラミキシングを可能にする。

ABSTRACT

This paper introduces OrchideaSOL, a free dataset of samples of extended instrumental playing techniques, designed to be used as default dataset for the Orchidea framework for target-based computer-aided orchestration. OrchideaSOL is a reduced and modified subset of Studio On Line, or SOL for short, a dataset developed at Ircam between 1996 and 1998. We motivate the reasons behind OrchideaSOL and describe the differences between the original SOL and our dataset. We will also show the work done in improving the dynamic ranges of orchestral families and other aspects of the data.

研究の動機と目的

• Orchidea などのシステムにおけるオーケストレーション結果の劣化を引き起こしていた、元の SOL データセットにおけるダイナミックレンジの一貫性の欠如を是正すること。
• オーケストラ楽器の真のダイナミック特性を保持する、自由で信頼性が高く再現可能なコンピュータ支援オーケストレーション用データセットを構築すること。
• 音楽情報検出、音楽認知、音声合成分野における研究のための、拡張演奏法の忠実度と利用可能性を向上させること。
• 非営利的利用を目的とした、チェックサム検証およびバージョン管理による整合性が検証可能な SOL のバージョンを提供すること。
• 以前の配布版に見られるアマネチスムとリサンプリングアーティファクトを是正することで、より現実的なオーケストラ音響ミキシングを実現すること。

提案手法

• クリアでリバーブが最も少ない信号を提供する近接マイク（トラック3）のみを用いて、元の SOL レコーディングから OrchideaSOL を再構築した。
• 標準のオーディオ処理パイプラインとの互換性を確保するため、すべてのオーディオファイルを 48 kHz から 44.1 kHz に 24 ビット深度でリサンプリングした。
• ステレオのアンバランスを排除し、データの複雑さを低減しながらも、トーンとダイナミクスのコアな内容を保持するため、すべてのファイルをモノラルに変換した。
• pyloudnorm ライブラリを用いてラウドネス補正 RMS 正規化を実施し、pp、mf、ff などのダイナミックマークの間でのアマネチスムを是正した。
• MIDI ピッチとダイナミックマークの両方の関数としてのダイナミック応答を特徴付けるために、ラウドネス補正 RMS データに2次回帰モデルをフィットさせた。
• 4096 サンプルのウィンドウと 2048 サンプルのホップを用いて、各サンプルについてスペクトルエンベロープ、MFCC（最初の20次元）、スペクトルピーク（最初の120個）、およびスペクトルモーメント（重心、分散、歪度、尖度）の事前計算された特徴量を生成・保存した。

実験結果

リサーチクエスチョン

• RQ1 元の SOL データセットにおけるダイナミックレンジの一貫性の欠如をどのように是正すれば、コンピュータ支援オーケストレーションの出力の現実性が向上するか？
• RQ2 単一で一貫性のあるマイクチャネル（近接マイク）を使用することで、オーケストラ音響データセットの信頼性と再現可能性はどの程度向上するか？
• RQ3 音声品質を維持したまま、研究への広範なアクセスを可能にする自由でオープンで検証可能な SOL のバージョンを構築することは可能か？
• RQ4 ピッチとダイナミックマークの両方を考慮したラウドネス補正 RMS レグレッションを用いることで、オーケストラ楽器のダイナミック応答はどの程度正確にモデル化できるか？
• RQ5 事前計算されたスペクトル的および知覚的特徴量（例：MFCC、スペクトルモーメント）は、音楽情報検出および生成モデルの性能にどのような影響を与えるか？

主な発見

• OrchideaSOL には、元の SOL データセット全体の 35% を占める 12,253 個の高品質なオーディオサンプルが含まれており、拡張演奏法およびオルディナリオのサウンドが保持されている。
• 近接マイク（トラック3）の使用により、以前のバージョンに見られたアマネチスム問題が是正され、楽器間でのダイナミックレンジがより正確に再現された。
• 各楽器に対してラウドネス補正 RMS レグレッションモデルが成功裏にフィットされ、フルートのモデルでは2次関数として以下のように表された：$ L_{\textrm{dB},\textrm{flute}} \approx -82.3301 + 0.2732M + 3.0831D + 0.0194MD + 0.0008M^2 + 0.0823D^2 $。
• 平均スペクトル、MFCC（最初の20次元）、スペクトルエンベロープ（1024 バイン）、およびスペクトルピーク（最初の120個）を含むスペクトル特徴量が、すべてのサンプルに対して事前計算され、公開された。
• MD5 チェックサムを介して mirdata ライブラリを通じて整合性が検証可能な非営利ライセンスで配布されており、再現可能性と信頼性を保証している。
• OrchideaSOL は Zenodo にホスティングされており、永続的 DOI を有しており、科学的リサーチにおける引用可能で長期的な可用性を実現している。