[논문 리뷰] I'm Sorry for Your Loss: Spectrally-Based Audio Distances Are Bad at Pitch

Joseph Turian, Max Henry|arXiv (Cornell University)|2020. 12. 08.

Music and Audio Processing인용 수 7

한 줄 요약

이 논문은 자기지도 학습에서 손실 함수로 널리 사용되는 스펙트럼 기반 음성 거리 측정법이 두 정현파 사이의 주파수 변화 방향을 감지하는 데 얼마나 효과적인지 평가한다. 놀랍게도 이러한 거리 측정법 중 다수는 주파수 변화의 순서를 정확히 판단하지 못하며, 잘못된 기울기 방향성과 국소 최솟값에 갇히는 경향을 보여, 이러한 측정법과 인간의 주파수 인지 간에 심각한 격차가 있음을 드러낸다.

ABSTRACT

Growing research demonstrates that synthetic failure modes imply poor generalization. We compare commonly used audio-to-audio losses on a synthetic benchmark, measuring the pitch distance between two stationary sinusoids. The results are surprising: many have poor sense of pitch direction. These shortcomings are exposed using simple rank assumptions. Our task is trivial for humans but difficult for these audio distances, suggesting significant progress can be made in self-supervised audio learning by improving current losses.

연구 동기 및 목표

• 통제된 합성 주파수 기반 벤치마크를 통해 널리 사용되는 음성-음성 거리 측정법의 인지적 타당성을 평가하기 위해.
• 스펙트럼 기반 손실 함수가 음성 표현 학습에서 널리 사용되지만 기본적인 주파수 비교 작업에서는 성능이 떨어지는 이유를 조사하기 위해.
• 최적화 및 일반화에 악영향을 미치는 잘못된 기울기 방향성과 국소 최솟값과 같은 실패 모드를暴露하기 위해.
• 스펙트럼 표현이 주로 인간의 인지적 관련 차원(예: 주파수)을 자연스럽게 포괄한다고 가정하는 것에 도전하기 위해.
• 자기지도 학습에서 손실 함수를 재평가할 것을 제안하며, 특히 인지적으로 타당한 손실 함수에 초점을 맞추기 위해.

제안 방법

• 주파수와 진폭 외에는 동일한 두 정현파로 구성된 합성 벤치마크를 설계하여 주파수 인지의 고립된 테스트를 위해.
• 일반적인 음성-음성 거리 측정법(예: L2, L1, MEL, STFT 크기, 신경망 임bedding)을 사용하여 정현파 쌍 간의 유사도를 측정하기 위해.
• 순위 기반 분석을 통해 손실 함수가 주파수 변화의 순서를 정확히 순서대로 정렬하는지 평가하기 위해(즉, 주파수 증가가 일관되게 거리 증가로 감지되는지 확인).
• 손실 곡면에서 기울기 방향성을 분석하여 최적화 경로의 효율성을 평가하고 국소 최솟값을 식별하기 위해.
• 다양한 신호 수준에서 성능을 비교하여 진폭이 주파수 민감도에 미치는 혼란 요인을 평가하기 위해.
• 대trastive 학습 설정을 사용하여 손실 함수가 유사한 주파수 쌍과 비유사한 주파수 쌍을 구분할 수 있는지 평가하기 위해.

실험 결과

연구 질문

• RQ1 스펙트럼 기반 음성 거리 측정법은 두 정현파 사이의 주파수 변화 방향을 정확히 감지할 수 있는가?
• RQ2 주파수 차이 최적화를 위해 사용할 때 일반적인 음성 손실 함수의 기울기 방향성은 어떻게 되는가?
• RQ3 진폭 변화가 스펙트럼 표현에서 주파수 기반 거리 측정에 얼마나 혼란을 줄 수 있는가?
• RQ4 주파수 관련 작업 최적화를 방해하는 손실 곡면에 국소 최솟값이 존재하는가?
• RQ5 스펙트럼 기반 손실 함수를 사용하는 모델들이 널리 사용되지만 여전히 외부 주파수 추적기( pitch tracker)가 필요한 이유는 무엇인가?

주요 결과

• 많은 스펙트럼 기반 음성 거리 측정법이 주파수 변화 방향을 정확히 감지하지 못하며, 주파수 변화의 상당 부분에서 잘못된 기울기 방향을 보인다.
• 손실 함수는 일반화 능력이 열악하며, 특히 진폭이 변할 경우 최적화 경로가 비효율적이거나 국소 최솟값에 갇히는 경향이 있다.
• 진폭 변화의 존재는 주파수 변화 방향 감지 정확도를 심각하게 떨어뜨리며, 스펙트럼 표현에서 혼란 요인이 있음을 시사한다.
• 간단한 저차원 주파수 작업조차도 널리 사용되는 음성 거리 측정법의 근본적인 결함을 드러내며, 이 측정법들이 인지적으로 직관적이지 않음을 시사한다.
• 실패 모드는 모델의 표현 능력 때문이 아니라, 인간의 주파수 인지와 잘 맞지 않는 스펙트럼 기반 손실 함수의 인도적 편향에서 기인한다.
• 이 결과들은 현재의 음성 손실 함수가 자기지도 학습에서 주파수 민감도가 필요한 작업에 있어 핵심적인 성능 저하 요인일 수 있음을 암시한다.