[论文解读] Generating Music from Literature

Hannah Davis, Saif M. Mohammad|arXiv (Cornell University)|Mar 10, 2014

Music and Audio Processing参考文献 37被引用 4

一句话总结

本文介紹了 TransProse 系統，該系統通過將情感內容（具體而言是情感詞密度和情感極性）映射到音樂元素（如節奏、調性、音高和音符時值）來從文學文本生成音樂作品。該方法產生了結構完整、情感契合的鋼琴曲，反映出小說的敘事氣氛與情感動態，評估結果顯示，基於主要情感與整體情感密度生成的音樂作品更具音樂上的連貫性。

ABSTRACT

We present a system, TransProse, that automatically generates musical pieces from text. TransProse uses known relations between elements of music such as tempo and scale, and the emotions they evoke. Further, it uses a novel mechanism to determine sequences of notes that capture the emotional activity in the text. The work has applications in information visualization, in creating audio-visual e-books, and in developing music apps.

研究动机与目标

• 開發一種自動根據情感內容從文學文本生成音樂的系統。
• 將小說中的情感動態映射至音樂參數，如節奏、音高與音符時值。
• 創造音視覺電子書與音樂應用程式，透過與情境情緒相符的音樂提升閱讀體驗。
• 探討以情感詞密度作為音樂創作基礎的可行性。
• 透過比較分析評估生成音樂的感知品質與情感忠實度。

提出的方法

• TransProse 使用文本中的情感詞密度來決定整體音樂節奏，密度越高則節奏越快（例如，如《彼得潘》等活躍小說的節奏超過 170 BPM）。
• 系統根據主導情感分配調性與音域：正面情感使音高提升一個八度，負面情感則使音高降低一個八度。
• 透過追蹤文本段落中情感詞密度的變化來生成音符序列，密度越高則音符越頻繁且越短。
• 系統應用約束條件以確保音樂的連貫性，例如限制音符轉換並使用預先定義的節奏模式，避免產生刺耳的噪音。
• 基於前兩大情感與整體情感密度生成多段旋律，每段旋律分配至獨立的聲部或 staff。
• 系統採用模組化結構，包含段落與子段落，以反映敘事結構，從而實現音樂活動的動態變化。

实验结果

研究问题

• RQ1 文學作品中的情感內容能否系統性地映射至節奏、調性與音符序列等音樂參數，從而生成結構完整的音樂？
• RQ2 小說中情感詞密度的分佈如何影響生成音樂的感知氣氛與結構？
• RQ3 基於主要情感的多段旋律對音樂品質與情感忠實度的感知有何影響？
• RQ4 段落劃分與音符時值的變化如何影響音樂中情感活動的感知？
• RQ5 該系統在多大程度上能產生既具音樂連貫性又與原始文本情感相符的音樂？

主要发现

• 高幸福或悲傷詞密度的小說，如《彼得潘》與《路》（The Road），分別產生比平均高一個八度或低一個八度的音樂， resulting in lighter or darker tonal qualities.
• 節奏快速的小說如《發瘋的洛奇》（A Clockwork Orange）與《蠻荒之國》（Lord of the Flies）產生的節奏超過 170 BPM，反映出高情感活動；而節奏緩慢的小說如《路》（The Road）則節奏低至 42 BPM。
• 基於兩段旋律（整體密度與主要情感）生成的作品被認為比四段旋律的作品更具連貫性，後者常顯得混亂或缺乏統一性。
• 《發瘋的洛奇》的最後一段音樂從混亂轉為結構化，與小說主角的心理轉變相呼應。
• 在《黑暗之心》中，隨著時間推移，音符密度增加而音符時值縮短，反映出敘事張力的上升，音樂隨故事進展變得更活躍。
• 人類評估顯示，相對正面的小說若使用 C minor，會降低情感忠實度，表明調性選擇必須與情感極性一致。