[論文レビュー] Generating Music from Literature

Hannah Davis, Saif M. Mohammad|arXiv (Cornell University)|Mar 10, 2014

Music and Audio Processing参考文献 37被引用数 4

ひとこと要約

本稿では、感情的要素——特に感情語の密度と価値——を、テンポ、キー、ピッチ、ノートディレイレーションなどの音楽的要素にマッピングすることで、文学的テキストから音楽的構成を生成するシステム「TransProse」を紹介する。この手法により、物語の雰囲気や感情的ダイナミクスを反映した、一貫性があり感情的に共鳴するピアノ曲が生成され、評価結果から、上位の感情と全体の感情的密度に基づく曲がより音楽的に整合性のある結果をもたらすことが示された。

ABSTRACT

We present a system, TransProse, that automatically generates musical pieces from text. TransProse uses known relations between elements of music such as tempo and scale, and the emotions they evoke. Further, it uses a novel mechanism to determine sequences of notes that capture the emotional activity in the text. The work has applications in information visualization, in creating audio-visual e-books, and in developing music apps.

研究の動機と目的

• 文学的テキストの感情的コンテンツに基づいて、自動的に音楽を生成するシステムを開発すること。
• 小説内の感情的ダイナミクスを、テンポ、ピッチ、ノートディレイレーションなどの音楽的パラメータにマッピングすること。
• 読書体験を感情に合わせた音楽で強化する、オーディオビジュアルエブックや音楽アプリの開発。
• 感情語の密度を音楽的構成の基盤として使用する可能性を検討すること。
• 比較的分析を通じて、生成された音楽の知覚的品質と感情的忠実度を評価すること。

提案手法

• TransProseは、テキスト内の感情語の密度に基づいて全体のテンポを決定し、密度が高いほど速いテンポになる（例：『ピーター・パニック』のような活発な小説では170 BPM以上）。
• 支配的である感情に応じて、音楽的キーとピッチレンジを割り当てる：肯定的な感情はピッチを1オクターブ上げ、否定的な感情は1オクターブ下げる。
• ノートシーケンスは、テキストのセグメントごとの感情語の密度の変化を追跡することで生成され、密度が高いほどノートの頻度が上がり、ノートの長さが短くなる。
• 音楽的整合性を保つために、ノート遷移の制限や、騒々しさを避けるために事前に定義されたリズムパターンの使用などの制約を適用する。
• 上位2つの感情と全体の感情的密度に基づいて複数のメロディを生成し、それぞれを別々のボイスまたはスタッフに割り当てる。
• 物語の構造を反映するために、セクションとサブセクションを持つモジュラー構造を採用し、音楽的活動の動的な変化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 文学的テキスト内の感情的コンテンツを、テンポ、キー、ノートシーケンスなどの音楽的パラメータに体系的にマッピングすることで、整合性のある音楽を生成できるか？
• RQ2 小説における感情語の密度の分布が、生成された音楽の知覚される雰囲気と構造にどのように影響するか？
• RQ3 上位の感情に基づく複数の感情的メロディが、知覚される音楽的品質と感情的忠実度に与える影響は何か？
• RQ4 セクション分けの変化とノートディレイレーションの変化が、音楽における感情的活動の知覚に与える影響は何か？
• RQ5 このシステムが、音楽的に整合性があり、かつ出典テキストの感情と一致する音楽をどれだけ生成できるか？

主な発見

• 『ピーター・パニック』や『ロード』のような、高い幸せや悲しみの語の密度を持つ小説では、それぞれ平均より1オクターブ高いか低い音色が生成され、軽いまたは暗いトーンの質が得られた。
• 『クロック・ワーク・オレンジ』 や『ロード・オブ・ザ・フライアーズ』 のような高速な小説では、170 BPMを超えるテンポが生成され、高い感情的活動を反映したが、『ロード』のような遅い小説では、42 BPMという低速なテンポが得られた。
• 全体の密度と上位感情に基づく2つのメロディを用いた曲は、4つのメロディを用いたものよりも一貫性があると評価された。4つのメロディはしばしば混沌としており、統一感に欠けると感じられた。
• 『クロック・ワーク・オレンジ』の最終章では、混沌とした音楽から構造的な音楽への劇的な転換が見られ、小説における登場人物の心理的変容を反映していた。
• 『ハート・オブ・ダークネス』では、時間の経過とともにノート密度が上昇し、ノートディレイレーションが短くなったことで、物語の緊張が高まるのを音楽が反映し、物語が進行するにつれてより活発な音楽になった。
• 代替構成のヒューマン評価から、比較的肯定的な小説に対してCマイナーを用いることは感情的整合性を損なうことが判明した。これは、キーの選択が感情の価値と一致している必要があることを示唆している。