[논문 리뷰] Audio Super Resolution using Neural Networks

Volodymyr Kuleshov, S. Zayd Enam외 1명|arXiv (Cornell University)|2017. 08. 02.

Speech and Audio Processing참고 문헌 20인용 수 39

한 줄 요약

이 논문은 이미지 초해상도 기법을 영감으로 삼아 저해상도 입력에서 고해상도 샘플을 예측하는 방식으로 오디오 신호를 업샘플링하는 딥 컨volution 신경망을 제안한다. 음성 및 음악 벤치마크에서 2×, 4×, 6× 업스케일링 비율에서 최신 기술 수준의 성능을 달성하며, 이는 이전 방법들을 능가하지만 구조는 단순하고 실시간 적용이 가능한 것으로 나타났다.

ABSTRACT

We introduce a new audio processing technique that increases the sampling rate of signals such as speech or music using deep convolutional neural networks. Our model is trained on pairs of low and high-quality audio examples; at test-time, it predicts missing samples within a low-resolution signal in an interpolation process similar to image super-resolution. Our method is simple and does not involve specialized audio processing techniques; in our experiments, it outperforms baselines on standard speech and music benchmarks at upscaling ratios of 2x, 4x, and 6x. The method has practical applications in telephony, compression, and text-to-speech generation; it demonstrates the effectiveness of feed-forward convolutional architectures on an audio generation task.

연구 동기 및 목표

• 복잡한 신호 처리 파ip라인을 피하고 단순하며 확장 가능한 딥 러닝 기법을 활용해 오디오 초해상도를 개발하는 것.
• 엔드 투 엔드 신경망을 사용해 이미지 초해상도 기법을 오디오 도메인으로 확장하는 것.
• 전화 통신, 압축, 텍스트 음성 합성 등의 응용 분야에서 대역폭 확장을 향상시키기 위해 저해상도 입력에서 고음질 오디오를 재구성하는 것.
• 완전 컨volution형 피드포워드 아키텍처가 원시 오디오 생성 작업에 얼마나 효과적인지 평가하는 것.
• 오디오 도메인 간 일반화 능력(음성 대 비음성)을 분석하고 성능에 기여하는 아키텍처 구성 요소를 분석하는 것

제안 방법

• 저해상도 오디오 신호에서 계층적 특징을 추출하기 위해 잔차 블록을 사용한 깊은 잔차 신경망을 사용한다.
• 특징 맵을 업샘플링하기 위해 서브픽셀 컨volution 레이어를 활용하여 고해상도 오디오 샘플을 효과적으로 예측한다.
• 예측된 고해상도 신호와 진정한 고해상도 신호 간의 평균 제곱오차(MSE) 손실을 사용해 쌍체의 저해상도 및 고해상도 오디오 예제를 엔드 투 엔드로 훈련한다.
• 학습 안정성 향상과 기울기 흐름 개선을 위해 스킵 커넥션(덧셈형 및 아이덴티티형)을 포함한다.
• 수작업 특징 또는 신호 처리 변환을 필요로 하지 않고 원시 오디오에서 시간 도메인으로 작동한다.
• 모델은 완전히 피드포워드이며 추론 효율성이 높아 실시간 처리가 가능하다(티탄 X GPU에서 1초당 오디오 처리 시간 0.11초)

실험 결과

연구 질문

• RQ1 간단하고 엔드 투 엔드 딥 러닝 모델이 기존의 신호 처리 기법과 이전의 학습 기반 방법보다 오디오 초해상도에서 뛰어난 성능을 낼 수 있는가?
• RQ2 완전 컨볼루션형 피드포워드 아키텍처는 저해상도 입력에서 고음질 오디오 생성에 얼마나 효과적인가?
• RQ3 음성 데이터로 훈련된 모델이 음악과 같은 비음성 오디오로 일반화되는 정도는 어느 정도이며, 반대로도 마찬가지인가?
• RQ4 잔차 블록, 스킵 커넥션 등 아키텍처 구성 요소 중 오디오 초해상도 성능에 가장 중요한 것은 무엇인가?
• RQ5 기존 접근 방식과 비교해 데이터셋 크기 및 계산 자원 증가에 따라 모델의 성능은 어떻게 변화하는가?

주요 결과

• 제안된 방법은 음성 및 음악 벤치마크에서 2×, 4×, 6× 업스케일링 비율에서 기존 기반 기술을 모두 능가한다.
• 멀티스피커 및 피아노 데이터셋에서 최신 기술 수준의 성능를 달성하였으며, 청취자 인식 품질과 정량적 지표에서 뚜렷한 향상을 보였다.
• 제거 분석 결과 대칭 스킵 커넥션은 성능에 핵심적임을 확인하였으며, 덧셈형 잔차 연결은 추가로 미세하지만 청취자에게 인지 가능한 성능 향상을 제공했다.
• 음성 데이터로 훈련한 모델가 음악 데이터로 테스트했을 때(반대로도 마찬가지로) 일반화 능력이 떨어지는 것으로 나타나 도메인 특화 전용 특성이 있음을 시사했다.
• 다양하고 대규모인 마그나태그애트운 데이터셋(200시간 이상, 188개 장르)에서는 모델이 과소적합되어 스퍼인 기반 모델보다 성능 향상이 없었으며, 더 큰 모델과 더 많은 데이터가 필요함을 시사했다.
• 모델는 실시간으로 오디오를 처리할 수 있으며(티탄 X GPU에서 1초당 0.11초), 전화 통신, 텍스트 음성 합성, 압축 등 실용적 응용 분야에 적합하다.