[논문 리뷰] From Bach to the Beatles: The simulation of human tonal expectation using ecologically-trained predictive models

Carlos Cancino-Chacón, Maarten Grachten외 1명|arXiv (Cornell University)|2017. 07. 19.

Music and Audio Processing인용 수 7

한 줄 요약

이 논문은 실제 음악 녹음본에서의 원시 음성 데이터를 학습시킨 순환 신경망(RNNs)이 인간의 탐색 톤 평가와 유사한 톤 예측을 개발함으로써, 음정적 구조를 암묵적으로 학습하고 있음을 보여준다. 주요 발견은 음정적 구조가 정확한 음악적 예측을 위해 필수적이지만, 그것만으로는 충분하지 않다는 점이며, 리듬과 보컬 리딩 같은 시간적 신호도 중요한 역할을 한다.

ABSTRACT

Tonal structure is in part conveyed by statistical regularities between musical events, and research has shown that computational models reflect tonal structure in music by capturing these regularities in schematic constructs like pitch histograms. Of the few studies that model the acquisition of perceptual learning from musical data, most have employed self-organizing models that learn a topology of static descriptions of musical contexts. Also, the stimuli used to train these models are often symbolic rather than acoustically faithful representations of musical material. In this work we investigate whether sequential predictive models of musical memory (specifically, recurrent neural networks), trained on audio from commercial CD recordings, induce tonal knowledge in a similar manner to listeners (as shown in behavioral studies in music perception). Our experiments indicate that various types of recurrent neural networks produce musical expectations that clearly convey tonal structure. Furthermore, the results imply that although implicit knowledge of tonal structure is a necessary condition for accurate musical expectation, the most accurate predictive models also use other cues beyond the tonal structure of the musical context.

연구 동기 및 목표

• 생태학적으로 훈련된 예측 모델이 행동 연구에서 관찰된 바와 같이 인간의 음정적 예측을 시뮬레이션할 수 있는지 조사하기 위해.
• 기호적 표현이 아닌 원시 음성 데이터로 훈련된 순환 신경망(RNNs)이 노출을 통해 음정적 구조를 암묵적으로 학습할 수 있는지 확인하기 위해.
• 계산 모델에서 정확한 음악적 예측을 위해 음정적 구조가 필수 조건인지 평가하기 위해.
• 음정성 외의 비음정적 신호—예를 들어 리듬, 보컬 리딩, 카디널 구조—가 음악 예측 형성에 음정성 외에 어떤 영향을 미치는지 탐색하기 위해.

제안 방법

• 바흐의 웰템퍼드 클라비어와 비틀즈의 상업용 CD 녹음본에서의 원시 음성 스펙트로그램(CQT)을 기반으로 다양한 유형의 순환 신경망(RNNs)을 훈련시키기 위해.
• 예측 코드 원리 적용: 모델은 현재 맥락을 바탕으로 미래 음악적 사건에 대한 예측 오차를 최소화하도록 훈련된다.
• 인간의 탐색 톤 평가(Krumhansl & Kessler, 1982)와의 상관관계를 통해 모델의 예측을 평가하며, 피어슨 상관계수를 지표로 사용한다.
• 순서가 뒤섞인 음성 데이터와 원본 데이터를 비교함으로써 순차적 구조의 역할을 분리하여 분석한다.
• 평균 교차 엔트로피 손실을 사용해 예측 정확도를 측정하고, 인간의 탐색 톤 프로파일과의 평균 상관계수를 사용해 음정적 구조를 측정한다.
• 다양한 음악 장르와 구조적 복잡성(예: 단성악 피아노 대비 다악기 팝 음악)에 따른 모델 행동을 분석한다.

실험 결과

연구 질문

• RQ1 실제 음악 녹음본에서 훈련된 RNNs가 인간 청취자들과 유사한 방식으로 음정적 구조를 학습할 수 있는가?
• RQ2 예측 모델에서 정확한 음악적 예측을 위해 음정적 구조가 필수 조건인가?
• RQ3 리듬, 보컬 리딩, 카디널 구조와 같은 비음정적 신호가 음정성 외에 음악 예측 형성에 어느 정도 기여하는가?
• RQ4 시간적으로 뒤섞인 음성 데이터로 훈련할 경우 모델 성능과 음정적 예측에 어떤 영향을 미치며, 이는 순차적 순서의 역할을 어떻게 드러내는가?

주요 결과

• 비틀즈와 바흐의 WTC에서 원시 음성 데이터로 훈련된 RNNs는 인간의 탐색 톤 평가와 강한 상관관계를 보이며, 인간의 음정 계층을 효과적으로 시뮬레이션하고 있음을 나타낸다.
• 뒤섞인 음성 데이터로 훈련된 모델들은 예측 정확도가 유의미하게 떨어지고, 특히 바흐의 WTC에서는 음정적 구조 표현이 약해지며, 순서의 중요성을 입증한다.
• 음정적 구조는 정확한 음악적 예측을 위해 필수 조건이며, 낮은 예측 오차를 보이는 모델들은 항상 인간 평가와 높은 상관관계를 보인다.
• 그러나 음정적 구조만으로는 정확한 예측을 위한 충분한 조건이 아니며, 높은 음정적 상관관계를 보이는 모델도 높은 예측 오차를 보일 수 있어, 리듬과 보컬 리딩과 같은 추가적 신호의 영향을 시사한다.
• 데이터 뒤섞기의 부정적 영향은 비틀즈의 녹음본보다 바흐의 WTC에서 더 두드러지며, 이는 바흐의 작품에서 더 높은 화성과 멜로디적 복잡성과 키의 이동이 많기 때문이다.
• 비틀즈와 같은 다악기 팝 음악과 같은 음악적으로 단순한 녹음본에서도 RNNs는 여전히 효과적으로 음정적 구조를 학습하고 있어, 생태학적으로 타당한 훈련 데이터가 강력한 인지적 학습을 지원할 수 있음을 시사한다.