[논문 리뷰] Musical Training, but not Mere Exposure to Music, Drives the Emergence of Chroma Equivalence in Artificial Neural Networks

Lukas Grasse, Matthew S. Tata|arXiv (Cornell University)|2026. 02. 20.

Neuroscience and Music Perception인용 수 0

한 줄 요약

연구는 ANNs에서 크로마 등가가 감독된 음악 전사 파인튜닝 후에만 나타나며, 단순 노출이나 음악으로의 자기지도 학습만으로는 그렇지 않다; 음높이는 더 보편적으로 표현된다.

ABSTRACT

Pitch is a fundamental aspect of auditory perception. Pitch perception is commonly described across two perceptual dimensions: pitch height is the sense that tones with varying frequencies seem to be higher or lower, and chroma equivalence is the cyclical similarity of notes octaves, corresponding to a doubling of fundamental frequency. Existing research is divided on whether chroma equivalence is a learned percept that varies according to musical experience and culture, or is an innate percept that develops automatically. Building on a recent framework that proposes to use ANNs to ask 'why' questions about the brain, we evaluated recent auditory ANNs using representational similarity analysis to test the emergence of pitch height and chroma equivalence in their learned representations. Additionally, we fine-tuned two models, Wav2Vec 2.0 and Data2Vec, on a self-supervised learning task using speech and music, and a supervised music transcription task. We found that all models exhibited varying degrees of pitch height representation, but that only models trained on the supervised music transcription task exhibited chroma equivalence. Mere exposure to music through self-supervised learning was not sufficient for chroma equivalence to emerge. This supports the view that chroma equivalence is a higher-order cognitive computation that emerges to support the specific task of music perception, distinct from other auditory perception such as speech listening. This work also highlights the usefulness of ANNs for probing the developmental conditions that give rise to perceptual representations in humans.

연구 동기 및 목표

• 다양한 학습 체제에서 ANNs에서 음높이와 크로마 등가가 나타나는지 조사한다.
• 음악이나 음성에 대한 자기지도 학습 노출이 크로마 등가를 유도하는지 확인한다.
• 음악 전사 작업에 대한 감독 학습 파인튜닝이 크로마 등가의 emergence에 필요한지 평가한다.
• RSA를 사용하여 사전학습된 모델, 자기지도 학습 모델, 감독 파인튜닝 모델을 크로마 및 음높이 모델과 비교한다.

제안 방법

• SSL, SL 또는 SSL+SFT 하에서 변환기 기반 청각 모델(Wav2Vec 2.0, Data2Vec, Whisper, MERT, AST)을 평가한다.
• 패시브 음악 노출 효과를 테스트하기 위해 음성+음악 데이터로 모델을 파인튜닝한다.
• 활동적 음악 태스크인 음악 전사에 대한 파인튜닝으로 크로마 형성에 미치는 영향을 테스트한다.
• Representational Similarity Analysis(RSA)를 사용해 모델 임베딩을 음높이-높이 및 크로마 등가 모델과 비교한다.
• NSynth의 옥타브 4–6에서 30개의 악기(플루트 10, 기타 10, 건반 10)로 RSA에 사용될 자극을 추출한다.
• 노이즈 천장치를 분석하고 Bonferroni 보정을 사용해 통계적 검정을 수행한다.

실험 결과

연구 질문

• RQ1 음높이 표현이 학습 체제에 관계없이 ANNs에서 나타나는가?
• RQ2 자기지도 학습 노출로 음악이나 음성에 대해 크로마 등가가 나타나는가?
• RQ3 음악 전사를 위한 감독 파인튜닝이 크로마 등가를 유도하는가?
• RQ4 음악에 대한 단순 노출(SSL+ 노출)만으로도 ANNs의 표현에서 크로마가 충분한가?

주요 결과

• 모든 사전학습/자기지도 학습된 ANNs는 음높이를 인코딩하지만 크로마 등가를 인코딩하지 않는다.
• 자기지도 학습 파인튜닝을 통해 모델의 훈련 데이터에 음악을 포함시키는 것이 크로마 등가를 유도하지 못한다.
• Wav2Vec 2.0과 Data2Vec에서 음악 전사를 통한 감독 파인튜닝은 크로마 등가를 유도한다.
• 음성 인식으로의 파인튜닝은 유사한 또는 증가된 음높이 인코딩에도 불구하고 크로마 등가의 이득을 가져오지 못한다.
• CQT 기반 모델은 설계 때문인지 크로마 등가를 보이고, 일반 학습에서부터의 Emergence가 아니다.
• 음높이 표현은 폭넓게 자동적으로 보이는 반면, 크로마 등가는 음악 관련 고차원 계산을 반영한다.