[논문 리뷰] A Differentiable Perceptual Audio Metric Learned from Just Noticeable Differences

Pranay Manocha, Adam Finkelstein외 4명|arXiv (Cornell University)|2020. 01. 13.

Speech and Audio Processing참고 문헌 36인용 수 5

한 줄 요약

이 논문은 대규모 커뮤니티 기반의 just-noticeable difference (JND) 판단 데이터셋을 기반으로 훈련된, 미분 가능한 딥러닝 기반 청각 인식 평가 지표를 제안한다. 변형된 오디오 쌍을 이용해 오디오 비교를 '같은가, 다른가'라는 이진 분류 문제로 설정함으로써, 모델은 인간 청각을 높은 정확도로 예측하며, 기존 평가 지표보다 인간 판단과의 상관관계가 높고, 음성 복원 작업의 훈련 손실로도 뛰어난 성능을 발휘한다.

ABSTRACT

Many audio processing tasks require perceptual assessment. The ``gold standard`` of obtaining human judgments is time-consuming, expensive, and cannot be used as an optimization criterion. On the other hand, automated metrics are efficient to compute but often correlate poorly with human judgment, particularly for audio differences at the threshold of human detection. In this work, we construct a metric by fitting a deep neural network to a new large dataset of crowdsourced human judgments. Subjects are prompted to answer a straightforward, objective question: are two recordings identical or not? These pairs are algorithmically generated under a variety of perturbations, including noise, reverb, and compression artifacts; the perturbation space is probed with the goal of efficiently identifying the just-noticeable difference (JND) level of the subject. We show that the resulting learned metric is well-calibrated with human judgments, outperforming baseline methods. Since it is a deep network, the metric is differentiable, making it suitable as a loss function for other tasks. Thus, simply replacing an existing loss (e.g., deep feature loss) with our metric yields significant improvement in a denoising network, as measured by subjective pairwise comparison.

연구 동기 및 목표

• 딥러닝 손실 함수와 인간 청각 인식 간의 괴리 문제를 해결한다: 오디오 처리 작업에서의 인간 청각 인식과의 괴리 문제를 해결한다.
• PESQ 및 ViSQOL과 같은 비미분 가능하고 수작업으로 만든 지표의 한계를 극복한다: PESQ 및 ViSQOL와 같은 비미분 가능하고 수작업으로 만든 지표는 미세한 청각 차이를 포착하지 못한다.
• 커뮤니티 기반의 JND 판단을 활용한 확장 가능한 데이터 기반 청각 평가 접근법을 개발한다: 커뮤니티 기반의 JND 판단을 활용한 확장 가능한 데이터 기반 청각 평가 접근법을 개발한다.
• 엔드 투 엔드 딥러닝 훈련에 직접 사용할 수 있는 미분 가능한 손실 함수를 개발한다: 엔드 투 엔드 딥러닝 훈련에 직접 사용할 수 있는 미분 가능한 손실 함수를 개발한다.
• 학습된 지표가 기존 손실 함수 대비 최신 음성 복원 모델에서 청각 품질을 향상시키는지 입증한다: 기존 손실 함수 대비 최신 음성 복원 모델에서 청각 품질을 향상시키는지 입증한다.

제안 방법

• 알고리즘적으로 적용된 변형(예: 노이즈, 리버브, 압축)이 가해진 오디오 기록 쌍에 대해 커뮤니티 기반의 이진 판단('같은가', '다른가')을 수집한다.
• 각 기준 오디오에 대해 just-noticeable difference (JND) 임계값 근처의 변형 강도를 효율적으로 샘플링하기 위해 액티브 러닝을 사용한다.
• 이진 분류 작업을 위해 딥 네트워크를 훈련시켜 인간이 감지할 수 있는 차이와 관련된 청각 임베딩 공간을 학습한다.
• 학습된 네트워크 임베딩에서 유연한 거리 측정법을 구성하여 하류 오디오 처리 작업의 손실 함수로 사용한다.
• 평균 의견 점수(MOS) 및 이원선택강제시험(2AFC) 데이터셋을 사용해 모델의 청각 일치도를 校정한다.
• 학습된 지표를 음성 복원 네트워크에 손실로 통합하여, L1, L2 또는 딥 페처 손실과 같은 기존 손실을 대체하거나 보완한다.

실험 결과

연구 질문

• RQ1 커뮤니티 기반의 JND 판단에 훈련된 딥 네트워크가 기존 객관적 평가 지표보다 인간 인식과 더 잘 관련된 청각 인식 평가 지표를 생성할 수 있는가?
• RQ2 미분 가능한 청각 손실이 인공지능 기반 음성 복원 모델의 성능을 주관적 청취 테스트에서 얼마나 향상시킬 수 있는가?
• RQ3 자기지도 학습 오디오 임베딩(예: OpenL3, VGGish)과 비교해 본다면, 제안된 지표는 청각 일치도와 훈련 목표로서의 유용성 측면에서 어떻게 비교되는가?
• RQ4 JND 데이터 기반 훈련은 기존 손실 함수나 비미분 가능 지표에 비해 미세한 오디오 열화에 대해 더 나은 일반화 성능을 보이는가?
• RQ5 학습된 지표는 기존 지표가 실패하는 경우에도 인간 감지 임계값 근처의 청각 차이를 효과적으로 포착할 수 있는가?

주요 결과

• 검증 세트에서 제안된 지표는 2AFC 정확도 83.9%를 기록했으며, 선호도 테스트에서 PESQ(86.1%) 및 ViSQOL(84.2%)보다 유의미하게 높은 성능을 보여, 더 나은 청각 일치도를 입증한다.
• 음성 복원 작업에서 제안된 손실을 사용한 모델은 이중 비교 테스트에서 83.9%의 선호도를 보였으며, 기준 손실 대비 통계적으로 유의미한 결과(p < 10^-4)를 보였으며, 특히 미세한 차이가 중요한 고SNR 조건에서 두드러진 성능 향상을 보였다.
• 기존 지표인 PESQ 및 ViSQOL보다 인간 MOS 점수와 더 잘 상관관계를 가지며, OpenL3와 같은 자기지도 학습 임베딩보다도 청각 일관성 측면에서 뛰어난 성능을 보였다.
• 노이즈 제거 네트워크에서 제안된 지표를 손실로 사용했을 때, L1, L2 및 딥 페처 손실 대비 인간 평가를 통해 청각적으로 열등한 결과를 보였다.
• JND 데이터 기반으로 훈련된 모델은 인간 청각에 맞춘 스케일을 학습하여, 분류 작업으로 사전 훈련된 모델에서 흔히 발생하는 잘못된 청각 순서를 수정한다.
• 데이터셋, 코드, 훈련된 모델은 모두 공개되어 있어 재현성과 오디오 머신러닝 연구 분야에서의 광범위한 채택을 가능하게 한다.