[논문 리뷰] Fréchet Audio Distance: A Metric for Evaluating Music Enhancement Algorithms

Kevin Kilgour, Mauricio Zuluaga외 2명|arXiv (Cornell University)|2018. 12. 20.

Speech and Audio Processing참고 문헌 21인용 수 17

한 줄 요약

이 논문은 음악 향상 알고리즘을 평가하기 위해 강화된 음악의 음성 임베딩 통계적 분포를 청소된 스튜디오 레코딩 음악의 대규모 세트와 비교함으로써, 참조가 없는 음성 거리 측정법인 프레셰 음성 거리(Fréchet Audio Distance, FAD)를 제안한다. FAD는 인간의 청각 인식과 더 강한 상관관계(r = 0.52)를 보이며, 기존의 신호 기반 측정법인 SDR(r = 0.39), 코사인 거리(r = -0.15), 크기 L2 거리(r = -0.01)보다 더 신뢰할 수 있는 청각 품질의 대체 지표이다.

ABSTRACT

We propose the Fréchet Audio Distance (FAD), a novel, reference-free evaluation metric for music enhancement algorithms. We demonstrate how typical evaluation metrics for speech enhancement and blind source separation can fail to accurately measure the perceived effect of a wide variety of distortions. As an alternative, we propose adapting the Fréchet Inception Distance (FID) metric used to evaluate generative image models to the audio domain. FAD is validated using a wide variety of artificial distortions and is compared to the signal based metrics signal to distortion ratio (SDR), cosine distance and magnitude L2 distance. We show that, with a correlation coefficient of 0.52, FAD correlates more closely with human perception than either SDR, cosine distance or magnitude L2 distance, with correlation coefficients of 0.39, -0.15 and -0.01 respectively.

연구 동기 및 목표

• 음악 향상에서 인간 인식과 상관관계가 낮은 기존의 전반적 參照 기반 측정법인 SDR 등의 한계를 해결하기 위해.
• 원본 청소된 음성 또는 노이즈 신호에 접근이 필요 없는 참조가 없는 평가 지표를 개발하기 위해.
• 이미지 생성에서 유래한 프레셰 인셉션 거리(Fréchet Inception Distance, FID)를 음성 영역으로 응용하여 청각 인식과의 정렬을 향상시키기 위해.
• 대규모 쌍별 비교 연구를 통해 인간 인식과의 상관관계를 검증하기 위해.
• FAD가 인간의 청각 품질 예측에서 기존의 신호 기반 측정법보다 뛰어나다는 것을 입증하기 위해.

제안 방법

• 강화된 음악 클립과 청소된 음악 클립에서 사전 훈련된 모델(VGGish)의 음성 임베딩을 사용하여 이미지 생성에서 유래한 프레셰 인셉션 거리(Fréchet Inception Distance, FID) 프레임워크를 음성 영역으로 적응시키기 위해.
• VGGish 임베딩을 통해 강화된 음성 클립과 대규모 청소된 음악 배경 세트의 다변량 정규분포 통계(평균 및 공분산)를 계산하기 위해.
• 두 다변량 정규분포 간의 프레셰 거리를 계산하여 FAD 점수를 산출하기 위해.
• 임베딩 추출을 위해 1초 길이의 음성 창을 사용하며, 더 긴 음성 클립을 커버하기 위해 겹치는 세그먼트를 적용하기 위해.
• 각 왜곡 설정에 대한 '가치' 값을 인간의 쌍별 비교 데이터에 기반한 플래켓-루스(Plackett-Luce) 모델을 훈련하여 청각 품질의 대체 지표로 추정하기 위해.
• 인간 평가 점수와의 상관관계 분석을 통해 FAD 점수를 SDR, 코사인 거리, 크기 L2 거리와 비교하기 위해.

실험 결과

연구 질문

• RQ1 학습된 음성 임베딩 기반의 참조가 없는 지표가 기존의 신호 기반 측정법보다 인간의 음악 향상 품질 인식을 더 잘 예측할 수 있는가?
• RQ2 FAD는 SDR, 코사인 거리, 크기 L2 거리와 비교해가며 다양한 인위적 왜곡 유형에서 어떻게 성능을 발휘하는가?
• RQ3 대규모 쌍별 비교를 통해 평가했을 때 FAD는 인간 인식과 어느 정도 상관관계를 가지는가?
• RQ4 FAD는 일관되게 낮은 SDR 점수를 보이는 왜곡 유형, 즉 강도에 관계없이 일관되게 낮은 점수를 기록하는 경우에도 안정적인가?
• RQ5 원본 청소된 음성 또는 노이즈 신호에 접근이 없어도 FAD를 사용해 음악 향상 모델을 평가할 수 있는가?

주요 결과

• FAD는 인간 인식과 상관계수 0.52를 기록하여 SDR(0.39), 코사인 거리(-0.15), 크기 L2 거리(-0.01)보다 유의미하게 뛰어난 성능을 보였다.
• FAD는 SDR가 성능이 떨어지는 왜곡, 예를 들어 속도 증가, 피치 유지 속도 증가/감소, 리버브, 피치 감소 유형에서 SDR보다 더 강한 상관관계를 보였다.
• 인간 평가 연구는 300개의 음성 세그먼트, 10종류의 왜곡에 대해 21개의 파라미터 설정, 총 69,300개의 쌍별 비교를 포함하였으며, 평가자들은 훈련 후 평균 40초 이내에 각 쌍을 평가하였다.
• 플래켓-루스(Plackett-Luce) 모델은 각 왜곡 설정에 대해 '가치' 값을 성공적으로 추정하여 다양한 왜곡 유형 간의 신뢰성 있는 비교를 가능하게 하였다.
• FAD는 SDR가 일관되게 낮은 점수를 기록하는 경우, 즉 신호 정밀도를 초월해 청각 품질에 민감한 경우에 특히 유리함을 보였다.
• 이 연구는 FAD가 음악 향상 알고리즘 평가를 위한 실용적이고 청각 인식과 정렬된, 참조가 없는 지표로 타당함을 확인한다.