[논문 리뷰] Deep Long Audio Inpainting

Ya-Liang Chang, Kuan-Ying Lee외 3명|arXiv (Cornell University)|2019. 11. 15.

Music and Audio Processing참고 문헌 43인용 수 23

한 줄 요약

이 논문은 200ms 이상의 장시간 음성 복원을 위한 최초의 벤치마크와 딥러닝 프레임워크를 제안하며, 수신장 설계, 확장 및 게이트드 컨볼루션, 청각적 손실을 활용한 신규 스펙트로그램 및 웨이브포맷 기반 모델을 제안한다. SC09 및 ESC-50 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 수신장 크기와 음성 표현 방식이 복원 품질에 미치는 영향을 입증한다.

ABSTRACT

Long (> 200 ms) audio inpainting, to recover a long missing part in an audio segment, could be widely applied to audio editing tasks and transmission loss recovery. It is a very challenging problem due to the high dimensional, complex and non-correlated audio features. While deep learning models have made tremendous progress in image and video inpainting, audio inpainting did not attract much attention. In this work, we take a pioneering step, exploring the possibility of adapting deep learning frameworks from various domains inclusive of audio synthesis and image inpainting for audio inpainting. Also, as the first to systematically analyze factors affecting audio inpainting performance, we explore how factors ranging from mask size, receptive field and audio representation could affect the performance. We also set up a benchmark for long audio inpainting. The code will be available on GitHub upon accepted.

연구 동기 및 목표

• SC09 및 ESC-50 데이터셋을 사용하여 200ms 이상의 장시간 음성 복원을 위한 최초의 벤치마크를 수립하기.
• 이미지 복원, 음성 합성, Deep Image Prior에서 유도된 딥러닝 모델을 장시간 음성 복원에 적응시키는 가능성 탐색하기.
• 수신장, 마스크 크기, 음성 표현 방식(웨이브포맷/스펙트로그램), 컨볼루션 유형과 같은 핵심 아키텍처 요소가 복원 성능에 미치는 영향을 체계적으로 분석하기.
• 초과 정량적 및 정성적 성능을 달성하는 새로운 딥러닝 프레임워크를 개발하고 평가하기.
• 기존 방법과 GAN 기반 손실의 한계를 규명하고,未래 연구 방향을 제안하기.

제안 방법

• 장거리 의존성을 모델링하기 위해 확장 및 게이트드 컨볼루션을 사용하는 스펙트로그램 기반 딥 네트워크를 제안한다.
• 원시 웨이브포맷에서 직접 음성을 복원하기 위해 유사한 아키텍처를 사용하는 웨이브포맷 기반 모델을 개발한다.
• 복원된 음성의 구조적 및 청각적 정밀도를 향상시키기 위해 L1 손실과 스펙트로그램 특징 기반의 청각적 손실을 활용한다.
• 평가를 위해 스펙트로그램을 웨이브포맷으로 변환하기 위해 Griffin-Lim 알고리즘을 사용하며, 주변 영역의 단계 힌트를 활용해 복원 품질을 향상시킨다.
• 수신장 크기, 마스크 비율, 커널 크기, 모델 깊이의 영향을 평가하기 위해 아블레이션 스터디를 적용한다.
• 최신 기술 수준의 이미지 복원 모델(스펙트로그램 기반)을 미세조정하고, Deep Image Prior를 비교 기준으로 평가한다.

실험 결과

연구 질문

• RQ1 다양한 수신장 크기가 장시간 음성 복원에서 딥러닝 모델의 성능에 어떤 영향을 미치는가?
• RQ2 음성 표현 방식의 선택(웨이브포맷 대비 스펙트로그램)이 복원 품질과 일반화 능력에 얼마나 큰 영향을 미치는가?
• RQ3 마스크 크기(0.1~0.25초)가 모델이 손실된 음성 세그먼트를 복구하는 데 미치는 영향은 어떠한가?
• RQ4 이미지 복원 및 음성 합성 분야의 모델이 장시간 음성 복원 작업에 효과적으로 적응될 수 있는가?
• RQ5 청각적 손실과 GAN 기반 손실이 복원된 음성의 자연스러움과 현실감을 향상시키는 데 어떤 역할을 하는가?

주요 결과

• 장기간 간격을 성공적으로 복원하기 위해서는 수신장 크기가 마스크 크기와 동일하거나 그 이상이어야 하며, 특정 임계값을 초과하면 성능이 정점에 도달하거나 저하된다.
• 고정된 수신장을 가진 모델은 0.1~0.16초의 마스크 길이를 처리할 수 있지만, 수신장 용량을 초과하는 마스크에서는 실패한다.
• 제안된 스펙트로그램 기반 모델은 SC09 및 ESC-50 데이터셋에서 기준 모델 대비 낮은 L1 손실과 청각적 오차를 기록하며, 정성적 음질 향상도 뚜렷하다.
• 웨이브포맷 기반 모델은 특히 발화의 명료성과 자연스러움을 유지하는 데 있어 기준 방법 대비 정성적 품질에서 뛰어난 성능을 보였다.
• 이 연구에서는 GAN 손실이 성능 향상에 기여하지 않았으며, 이는 현재 아키텍처로는 적대적 훈련이 장시간 음성 복원에 유익하지 않을 수 있음을 시사한다.
• 실패 사례는 종종 뒷따라오는 효과를 보이며, 마스크의 시작과 끝에서 소리가 점점 흐려지는 경향을 보여, 위상과 진폭 복원에 충분한 맥락이 부족함을 시사한다.