[논문 리뷰] Deep Learning for Singing Processing: Achievements, Challenges and Impact on Singers and Listeners

Emília Gómez, Merlijn Blaauw외 3명|arXiv (Cornell University)|2018. 07. 09.

Music and Audio Processing참고 문헌 20인용 수 35

한 줄 요약

이 논문은 음악 가창 처리 분야에서의 딥러닝 최신 발전을 검토하며, 음고 추정, 음성 분離, 가창 합성에 중점을 둔다. CREPE 및 DNN 기반 분리 모델과 같은 모델들이 정확도와 음질 면에서 최신 기술 수준을 달성한 것으로 나타났으며, 데이터, 계산 자원, 모델 해석 가능성 등의 과제를 제기하고 있으며, 가수, 听衆 및 음악 제작 분야에 미치는 사회적 영향을 논의한다.

ABSTRACT

This paper summarizes some recent advances on a set of tasks related to the processing of singing using state-of-the-art deep learning techniques. We discuss their achievements in terms of accuracy and sound quality, and the current challenges, such as availability of data and computing resources. We also discuss the impact that these advances do and will have on listeners and singers when they are integrated in commercial applications.

연구 동기 및 목표

• 음고 추정, 소스 분리, 가창 합성 등의 가창 처리 작업을 위한 최근 딥러닝 성취 사항을 검토하고 통합하는 것.
• 가창 처리 분야의 진전에 영향을 미치는 데이터 가용성, 계산 자원, 모델 설명 가능성 등의 핵심 과제를 규명하는 것.
• 고음질 가창 합성 및 소스 분리가 뮤지션, 청취자, 상업적 음악 응용 분야에 미치는 영향을 분석하는 것.
• 음성 모델링 및 가상 가수의 영향을 통해 지적 재산권, 정체성, 음악에서의 인간 가창의 미래에 미치는 영향을 고찰하는 것.
• 웨이브폼 생성 모델(예: WaveNet)의 잠재력을 탐색하여 표현력 있고 자연스러운 음질의 가창 합성을 가능하게 하는 것.

제안 방법

• iKala 데이터셋을 기반으로 훈련된 CREPE를 사용하여 단성 및 주된 음고 추정에 최신 딥러닝 모델을 활용한다.
• RNN 및 CNN을 포함한 딥 네트워크(DNNs)를 사용하여 가창 음성 분리를 수행하며, 기존의 NMF 및 ICA 방법보다 뛰어난 성능을 보인다.
• 피드포워드 및 순차적 컨볼루션 네트워크를 적용하여 가창 합성을 수행하며, 음악 스코어와 가사에서 음고, 지속 시간, 톤을 모델링한다.
• 표준 평가 지표를 사용하여 성능을 평가한다: 음고 정확도(Raw Pitch Accuracy, RPA), SDR, SIR, SAR, ISR을 분리에 적용하고, 합성 품질 평가에 청취 테스트를 활용한다.
• 딥러닝 모델을 고전적 방법(예: YIN, MELODIA, 연결 합성)과 비교하여 정확도 및 음질 향상 여부를 평가한다.
• 대규모 데이터셋(예: iKala, MTG-QBH, JAMENDO)이 데이터 기반 훈련 및 모델 일반화를 가능하게 하여 모델 성능 향상에 기여하는 바를 분석한다.

실험 결과

연구 질문

• RQ1 CREPE 및 pYIN 등의 딥러닝 모델은 YIN 및 MELODIA와 같은 전통적 음고 추정 방법에 비해 정확도에서 어떻게 비교되는가?
• RQ2 DNN 기반 분리 모델은 NMF 및 ICA 대비 가창 음성 분리의 품질 및 처리 효율성에서 어느 정도 향상되는가?
• RQ3 딥러닝 기반 가창 합성 방법은 연결 합성 방법에 비해 음질 면에서 동등하거나 우수한 성능을 낼 수 있는가?
• RQ4 고음질 음성 모델링이 음성 모조, 가상 가수, 음악 제작 분야의 지적 재산권에 어떤 영향을 미치는가?
• RQ5 딥러닝 모델의 투명하지 않은 성격(블랙박스 성격)은 가창의 음향적 및 표현적 지식 습득을 방해하는가?

주요 결과

• CREPE는 단성 가창에서 90.5%의 음고 정확도를 기록했으며, 주된 음고 추정에서는 81.5%를 기록하여 pYIN 및 MELODIA와 같은 기존 방법과 동등하거나 이를 초월했다.
• DNN 기반 분리 모델은 고전적 방법보다 뚜렷한 성능 향상을 보였으며, Sisec 및 MIREX 평가에서 SDR 및 SIR 지표가 급격히 향상되었다.
• 딥러닝 기반 가창 합성 방법은 청취 테스트 결과 연결 합성 방법과 동등하거나 뛰어난 음질을 달성했다.
• WaveNet 및 Tacotron2와 같은 웨이브폼 생성 모델은 성격이 뚜렷한 음성 특성(예: 울림, 캬크리한 발음 등)을 포함한 표현력 있는 가창을 생성할 잠재력을 보였다.
• 현재 가창 합성 분야의 최신 기술은 인간의 가창과 구분하기 어려운 수준에 도달하고 있으며, 진정성과 모조행위 문제에 대한 우려를 제기하고 있다.
• 높은 성능에도 불구하고 딥러닝 모델은 여전히 대부분의 경우 블랙박스 시스템으로 남아 있어, 가창의 음향적 및 표현적 지식 습득에 기여하는 데 한계가 있다.