[논문 리뷰] Generating Music from Literature

Hannah Davis, Saif M. Mohammad|arXiv (Cornell University)|2014. 03. 10.

Music and Audio Processing참고 문헌 37인용 수 4

한 줄 요약

이 논문은 감정 어휘 밀도와 평가를 기반으로 음악적 요소인 템포, 키, 음고, 음표 지속 시간에 감정 내용을 매핑함으로써 문학 텍스트에서 음악적 구성물을 생성하는 TransProse 시스템을 소개한다. 이 방법은 소설의 서사 분위기와 감정 역동성을 반영하는 일관되고 감정적으로 공명하는 피아노 곡을 생성하며, 평가 결과 상위 감정과 전체 감정 밀도를 기반으로 한 곡이 더 음악적으로 통일감 있는 결과를 낳는다.

ABSTRACT

We present a system, TransProse, that automatically generates musical pieces from text. TransProse uses known relations between elements of music such as tempo and scale, and the emotions they evoke. Further, it uses a novel mechanism to determine sequences of notes that capture the emotional activity in the text. The work has applications in information visualization, in creating audio-visual e-books, and in developing music apps.

연구 동기 및 목표

• 문학 텍스트의 감정 내용을 바탕으로 자동으로 음악을 생성하는 시스템을 개발하는 것.
• 소설의 감정 역동성을 템포, 음고, 음표 지속 시간 등의 음악적 파라미터로 매핑하는 것.
• 읽기 경험을 감정에 맞는 음악으로 향상시키는 오디오-비주얼 전자책과 음악 앱을 만드는 것.
• 감정 어휘 밀도를 음악적 구성의 기초로 사용할 수 있는지의 타당성을 탐색하는 것.
• 비교 분석을 통해 생성된 음악의 지각적 품질과 감정 충실도를 평가하는 것.

제안 방법

• TransProse는 텍스트 내 감정 어휘 밀도를 기반으로 전체 음악 템포를 결정하며, 높은 밀도일수록 더 빠른 템포가 되며(예: 활동적인 소설인 피터 펜의 경우 >170 BPM), 이를 적용한다.
• 주로 우세한 감정에 따라 음악적 키와 음고 범위를 할당하며, 긍정적인 감정은 음고를 한 옥타브 올리고, 부정적인 감정은 한 옥타브 내린다.
• 감정 어휘 밀도의 변화를 텍스트 세그먼트 단위로 추적함으로써 음표 순서를 생성하며, 높은 밀도일수록 더 자주 발생하고 짧은 음표가 생성된다.
• 음악적 통일성을 확보하기 위해 음표 전환 제약과 소리의 혼란을 방지하기 위한 사전 정의된 리듬 패턴을 사용한다.
• 상위 두 감정과 전체 감정 밀도를 기반으로 여러 멜로디를 생성하며, 각 멜로디는 별도의 보이나 음역에 할당된다.
• 내용의 서사적 구조를 반영하기 위해 섹션과 서브섹션으로 구성된 모듈식 구조를 사용하며, 음악 활동의 동적 변화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 문학의 감정 내용을 템포, 키, 음표 순서 등의 음악적 파라미터로 체계적으로 매핑하여 일관된 음악을 생성할 수 있는가?
• RQ2 소설 내 감정 어휘 밀도의 분포가 생성된 음악의 지각된 분위기와 구조에 어떤 영향을 미치는가?
• RQ3 상위 감정을 기반으로 한 다중 감정 멜로디가 지각된 음악적 품질과 감정 충실도에 어떤 영향을 미치는가?
• RQ4 섹션화와 음표 지속 시간의 변화가 음악에서 감정 활동의 지각에 어떤 영향을 미치는가?
• RQ5 이 시스템이 소스 텍스트와 감정적으로 일치하면서도 음악적으로 통일감 있는 음악을 얼마나 잘 생성하는가?

주요 결과

• 피터 펜과 더 로드와 같이 행복 또는 슬픔 어휘 밀도가 높은 소설은 각각 평균보다 한 옥타브 높거나 낮은 톤을 가지며, 더 가볍거나 어두운 톤의 특성을 띠었다.
• 빨간색 소설인 어 메이저 오렌지와 라이벌 오브 더 파이어는 템포가 170 BPM을 초과하여 높은 감정 활동을 반영했고, 더 천천가 소설인 더 로드는 템포가 42 BPM까지 낮아졌다.
• 전체 밀도와 상위 감정을 기반으로 한 두 멜로디를 사용한 곡은 네 멜로디를 사용한 곡보다 더 통일감 있게 인식되었으며, 후자는 종종 혼란스럽거나 통일감이 떨어졌다.
• 어 메이저 오렌지의 최종 장에서는 혼란스러운 음악에서 구조적인 음악으로의 급격한 전환을 보였으며, 이는 소설 속 주인공의 심리적 전환을 반영했다.
• 어둠의 심장에서는 시간이 지남에 따라 음표 밀도가 증가하고 음표 지속 시간이 감소함으로써 서서히 증가하는 긴장감을 반영했으며, 이야기가 진행됨에 따라 음악이 더 활동적으로 변했다.
• 다양한 구성에 대한 인간 평가 결과, 비교적 긍정적인 소설에 C 마이저를 사용할 경우 감정의 통일감이 떨어졌으며, 이는 키 선택이 감정 평가와 일치해야 한다는 것을 시사한다.