[論文レビュー] Getting Closer to the Essence of Music: The Con Espressione Manifesto

Gerhard Widmer|arXiv (Cornell University)|Nov 29, 2016

Music and Audio Processing参考文献 67被引用数 19

ひとこと要約

この宣言は、人間の知覚、表現性、演奏を核とするように、音楽情報研究（MIR）のパラダイム転換を呼びかけている。大規模な機械学習と学際的協働を通じて、音楽的構造、表現的演奏、聴取者の知覚の計算モデルを発展させることで、人間の演奏者と共感的かつ的確に相互作用できる音楽的知能を持つシステムの実現を目指す。

ABSTRACT

This text offers a personal and very subjective view on the current situation of Music Information Research (MIR). Motivated by the desire to build systems with a somewhat deeper understanding of music than the ones we currently have, I try to sketch a number of challenges for the next decade of MIR research, grouped around six simple truths about music that are probably generally agreed on, but often ignored in everyday research.

研究の動機と目的

• 現在のMIRシステムが感情、驚き、流れといった表現的特徴を認識または伝えることができないという、深い音楽的理解の欠如に応えること。
• 人間の聴取者や演奏者が形作る、知覚的・時間的・表現的プロセスとしての音楽の核となる原則に、MIR研究を再定義すること。
• 学際的研究と大規模データを活用して、音楽的構造、演奏の表現性、聴取者の知覚の計算モデルを発展させること。
• 知覚、認知、演奏科学を統合することで、ライブ演奏者と表現的に感受的な対話を可能にする、音楽的知能を持つシステムの開発。
• 技術的信号解析を越えて、今後の研究アジェンダにおいて表現的・知覚的次元を重視するよう、広範なMIRコミュニティを啓発すること。

提案手法

• タイミング、ダイナミクス、アーティキュレーション、チューニングなどの表現的次元を分類・特徴付ける記述フレームワークの開発。
• 基本的なオンセットやダイナミクスを越えた、洗練された信号処理と機械学習を用いた音声ベースの表現的演奏パラメータ抽出の推進。
• MIRの進展を情報理論的モデルと非教師あり学習と組み合わせ、スコアレベルおよびオーディオレベルの構造知覚をモデル化すること。
• 大規模でキュレートされたコーパスを用いて、表現的メッセージの意図を認識する判別モデルの構築。
• 特定の感情的・スタイル的特徴を表現するように、演奏を生成または変更する予測モデルの構築。
• コンパスエイティブ・ミュージック・コンpanionのようなインタラクティブなデモンストレーターの設計・展開により、リアルタイムで表現的な音楽的対話を検証すること。

実験結果

リサーチクエスチョン

• RQ1 計算モデルは、音楽的知覚と構造の非マルコフ的かつ時間的に拡張された性質を、どのようによりよく捉えることができるか？
• RQ2 機械学習システムは、ジャンルや演奏者にかかわらず、『なめらか』や『ドラマチック』といった表現的特徴をどれほど正確に認識・分類できるか？
• RQ3 ライブ音楽的対話の過程で、人間の演奏者の表現的スタイルをリアルタイムで予測し、それに適応するMIRシステムは、どのように実現できるか？
• RQ4 タイミングやダイナミクスを超えて、聴取者の音楽的特徴や感情の知覚に最も強く影響を与える表現的特徴は何か？
• RQ5 大規模かつキュレートされた表現的演奏のコーパスは、音楽的構造と表現的表現の関係を理解するモデルの学習に、どのように活用できるか？

主な発見

• 現在のMIRシステムは、冗長性や予測不可能性といった知覚的原則に基づいて、音楽的に興味深い作品と単調な作品を区別する能力に欠けている。
• コンピュータは、人間の聴取者にとって顕著に感じられる『ゆったりした』や『なめらかな』といった表現的特徴を、まだ同定または分類できない。
• 特にクラシック音楽において、音楽的構造と表現的演奏が共同で作品の知覚的特徴を形成するメカニズムをモデル化する分野に、顕著なギャップが存在する。
• コン・エスプレッションエプロジェクトは、同じ曲の異なる演奏における表現的特徴の知覚的合意の程度を評価するクラウドソーシングゲームを開始し、初期的な知覚的合意のパターンを明らかにした。
• コンパスエイティブ・ミュージック・コンpanionは、本プロジェクトの主要なデモンストレーターであり、演奏者の表現的スタイルを認識・適応することで、リアルタイムで表現的な音楽的対話を可能にする。
• この宣言は、音楽の時間的性質、非マルコフ的構造、聴取者中心の知覚、学習による好みの形成、演奏依存性、表現性という6つの「真実」を、今後のMIR研究の基盤と特定している。