[논문 리뷰] Overview of Tasks and Investigation of Subjective Evaluation Methods in Environmental Sound Synthesis and Conversion

Yuki Okamoto, Keisuke Imoto외 5명|arXiv (Cornell University)|2019. 08. 27.

Music and Audio Processing참고 문헌 17인용 수 6

한 줄 요약

이 논문은 환경 음향 합성 및 변환 작업을 검토하며, WaveNet과 같은 통계적 생성 모델에 초점을 맞추고, 다면적인 주관적 평가 프레임워크를 제안한다. 음성의 이해 가능성, 구별 가능성, 자연스러움 지표를 사용해 합성 음향을 평가한 결과, WaveNet 기반 합성은 특히 전기 면도기와 같은 복잡한 음향에서 청각적 품질 측면에서 여전히 뒤처지고 있음을 확인했으며, 강력한 평가를 위해 다수의 평가 방법을 조합할 것을 권장한다.

ABSTRACT

Synthesizing and converting environmental sounds have the potential for many applications such as supporting movie and game production, data augmentation for sound event detection and scene classification. Conventional works on synthesizing and converting environmental sounds are based on a physical modeling or concatenative approach. However, there are a limited number of works that have addressed environmental sound synthesis and conversion with statistical generative models; thus, this research area is not yet well organized. In this paper, we review problem definitions, applications, and evaluation methods of environmental sound synthesis and conversion. We then report on environmental sound synthesis using sound event labels, in which we focus on the current performance of statistical environmental sound synthesis and investigate how we should conduct subjective experiments on environmental sound synthesis.

연구 동기 및 목표

• 환경 음향 합성 및 변환의 문제 정의와 적용 사례를 정리하고 명확히 하기 위해, 특히 딥러닝 맥락에서.
• 환경 음향 합성에 대한 표준화된 평가 방법, 특히 주관적 평가 접근 방식의 부족을 해결하기 위해.
• 통계적 생성 모델—특히 WaveNet—이 환경 음향을 얼마나 잘 합성하는지 현재 성능를 조사하기 위해.
• 합성된 환경 음향을 평가하기 위해 이해 가능성, 구별 가능성, 자연스러움을 포함한 다차원 평가 프레임워크를 제안하기 위해.
• 평가 관행의 격차를 특정하고 주관적 테스트의 최선의 실천 방법을 권장함으로써 향후 연구를 이끌기 위해.

제안 방법

• 고품질 오디오 장비(롤랜드 UA-55 인터페이스 및 소니 MDR-CD900ST 헤드폰)를 사용한 통제된 환경에서 24명의 청취자가 참여한 주관적 평가 실험을 실시하였다.
• 세 가지 별도의 주관적 테스트를 수행하였다: (1) 이해 가능성 평가를 위한 음향 이벤트 분류(재현 기반), (2) 구별 가능성 평가를 위한 AB 선호도 테스트, (3) 자연스러움 평가를 위한 5점 척도 평균 의견 점수(MOS).
• WaveNet 기반 모델을 사용해 음향 이벤트 또는 장면 레이블에서 환경 음향을 합성하였으며, 현실성과 청각적 정밀도에 중점을 두었다.
• 표준 심리물리적 테스트 프rotocols를 사용해 데이터를 수집하고 분석하였으며, 실제 음향과 합성 음향을 무작위로 제시하였다.
• 다양한 지표를 통해 합성 음향의 성능을 실제 환경 음향과 비교하여 청각적 품질과 현실감을 평가하였다.
• 스펙트로그램 분 析을 통해 청각적 차이를 스펙트럼 특성과 연관지웠으며, 특히 잘못 분류되거나 자연스럽지 않은 음향의 경우에 초점을 맞췄다.

실험 결과

연구 질문

• RQ1 WaveNet 기반 모델은 특정 음향 이벤트로 인식 가능한 환경 음향을 얼마나 잘 합성할 수 있는가?
• RQ2 선호도 테스트에서 청취자는 실제 음향과 합성 음향을 얼마나 잘 구별할 수 있는가?
• RQ3 청취자들은 5점 MOS 척도를 사용해 합성 환경 음향의 자연스러움을 실제 음향과 비교해 얼마나 평가하는가?
• RQ4 현재의 통계적 생성 모델(예: WaveNet)이 복잡한 환경 음향의 세밀한 스펙트럼 구조를 재현하는 데에 어떤 한계를 지닌다?
• RQ5 환경 음향 합성 품질 평가에 가장 정보를 많이 제공하는 주관적 평가 지표의 조합은 무엇인가?

주요 결과

• 음향 이벤트 분류(이해 가능성)의 평균 F-스코어는 실제 음향에서 86.22%, 합성 음향에서 76.30%였으며, 이는 합성된 드럼 소리가 잘 인식되었지만, 컵 부딪히는 소리와 전기 면도기 소리는 자주 잘못 분류됨을 시사한다.
• AB 선호도 테스트에서 청취자들은 실제 음향을 82.71%의 정확도로 올바르게 식별했으며, WaveNet 기반 합성 음향이 여전히 실제 음향과 청각적으로 구별 가능함을 보여준다.
• 자연스러움을 평가하는 평균 의견 점수(MOS)는 합성된 커피 그라인더, 시계, 마라카스 소리가 실제 음향과 유사하게 평가되었지만, 전기 면도기와 쓰레기통 두드리기 소리는 유의미하게 낮은 점수를 기록했다.
• 스펙트로그램 분석 결과, 합성된 전기 면도기 소리는 세밀한 스펙트럼 구조를 갖추지 못해, 종이 찢는 소리와 유사한 소리로 혼동되는 경향이 있었다.
• 일부 음향은 올바르게 분류되었지만 자연스럽지 않게 평가되는 경우가 있어, 이해 가능성만으로는 합성 품질 평가가 부족함을 확인했으며, 이는 다중 지표 평가의 필요성을 강조한다.
• 결과적으로, 환경 음향 합성 평가가 이해 가능성 외에도 구별 가능성과 자연스러움을 포함하여 청각적 현실감을 확보하기 위해 이루어져야 한다는 점을 뒷받침한다.