[논문 리뷰] Cascaded Cross-Module Residual Learning towards Lightweight End-to-End Speech Coding

Kai Zhen, Jongmo Sung외 3명|arXiv (Cornell University)|2019. 06. 18.

Speech and Audio Processing참고 문헌 31인용 수 13

한 줄 요약

이 논문은 깊이 있는 신경망(DNN) 기반 엔드투엔드 음성 코덱의 모델 복잡도를 줄이면서도 높은 청취 품질을 유지하기 위해 두 개의 작은 전문화된 DNN 모듈을 단계적으로 연결한 '다단계 교차 모듈 잔차 학습(Cascaded Cross-Module Residual Learning, CMRL)'을 제안한다. 이는 기존 DNN 기반 코덱에 비해 모델 복잡도를 크게 감소시켜 0.9만 개의 파라미터로도 최신 기술 수준의 청취 품질을 달성한다.

ABSTRACT

Speech codecs learn compact representations of speech signals to facilitate data transmission. Many recent deep neural network (DNN) based end-to-end speech codecs achieve low bitrates and high perceptual quality at the cost of model complexity. We propose a cross-module residual learning (CMRL) pipeline as a module carrier with each module reconstructing the residual from its preceding modules. CMRL differs from other DNN-based speech codecs, in that rather than modeling speech compression problem in a single large neural network, it optimizes a series of less-complicated modules in a two-phase training scheme. The proposed method shows better objective performance than AMR-WB and the state-of-the-art DNN-based speech codec with a similar network architecture. As an end-to-end model, it takes raw PCM signals as an input, but is also compatible with linear predictive coding (LPC), showing better subjective quality at high bitrates than AMR-WB and OPUS. The gain is achieved by using only 0.9 million trainable parameters, a significantly less complex architecture than the other DNN-based codecs in the literature.

연구 동기 및 목표

• 딥 뉴럴 네트워크(DNN) 기반 엔드투엔드 음성 코덱의 모델 복잡도를 줄이면서도 높은 청취 품질을 유지하기 위해.
• WaveNet 기반 모델처럼 최대 2000만 개의 파라미터를 가진 기존 DNN 코덱의 높은 계산 비용 문제를 해결하기 위해.
• 계속되는 모듈 간 잔차를 학습함으로써 복원 성능을 향상시키는 모듈형 다단계 아키텍처를 개발하기 위해.
• 고비트레이트에서 성능을 향상시키기 위해 선형 예측 코딩(LPC)과의 호환성을 확보하기 위해.
• 표준 코덱인 AMR-WB와 OPUS와 경쟁 가능한 성능을 달성하면서도 최소한의 파라미터 수를 사용하기 위해.

제안 방법

• CMRL는 두 단계 학습 방식을 사용한다: 먼저 개별 모듈을 학습한 후 전체 다단계 구조를 미세 조정한다.
• 다단계의 각 모듈은 이전 모듈이 남긴 잔차 신호를 복원하도록 학습하여 점진적인 정교화를 가능하게 한다.
• 모듈은 밀도가 낮은 잔차 블록을 사용하며, 확장률(dilation rate)이 1과 2로 설정되어 있어 파라미터 수를 줄이면서도 표현 능력을 유지한다.
• 1D 컨볼루션을 사용하며 커널 크기는 9, 활성화 함수로 Leaky ReLU를 사용하고, 업샘플링에는 서브픽셀 컨볼루션을 적용한다.
• 모델은 원시 PCM 신호 또는 LPC 잔차를 직접 처리하며, 호환성을 확보하기 위해 LPC 계수는 2.4 kbps로 전송된다.
• 목표 비트레이트 8.85, 15.85, 19.85, 23.85 kbps를 달성하기 위해 양자화된 잔차 신호에 대해 엔트로피 코딩을 적용한다.

실험 결과

연구 질문

• RQ1 다단계 모듈형 DNN 아키텍처가 단일 대형 네트워크 기반 엔드투엔드 코덱보다 더 낮은 모델 복잡도로 더 높은 청취 품질을 달성할 수 있는가?
• RQ2 고비트레이트에서 CMRL은 AMR-WB와 OPUS에 비해 주관적 청취 테스트에서 어떻게 성능을 내는가?
• RQ3 Kankanahalli-Net과 같은 최신 기술 수준의 DNN 코덱에 비해 CMRL이 PESQ 및 SNR와 같은 객관적 지표에서 얼마나 뛰어난가?
• RQ4 LPC를 사전 처리 모듈로 통합하면 특히 고비트레이트에서 성능 향상이 이루어지는가?
• RQ5 단지 0.9만 개의 파라미터만을 가진 경량 모델이 다양한 비트레이트 환경에서 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 원시 PCM 입력에서 CMRL은 23.85 kbps에서 PESQ 점수 4.42를 기록하여, 23.85 kbps에서 AMR-WB(PESQ 4.13)와 Kankanahalli-Net(PESQ 4.30)를 모두 앞선다.
• 8.85 kbps에서 CMRL의 SNR(13.45 dB)는 23.85 kbps에서 AMR-WB의 SNR(9.82 dB)를 초월하여 더 뛰어난 압축 효율성을 보여준다.
• LPC 잔차 입력을 사용할 경우, CMRL은 MUSHRA 주관적 테스트에서 19.85 kbps 및 23.85 kbps에서 AMR-WB를 능가하며, 23.85 kbps에서 OPUS를 약간 뛰어넘는다.
• 모델 복잡도는 단지 0.9만 개의 파라미터이며, WaveNet 기반 VAE 코덱(2000만 개 파라미터)의 5% 미만이며, Kankanahalli-Net보다도 40% 적다.
• 두 번째 모듈의 포함과 미세 조정 덕분에 SNR 및 PESQ에서 뚜렷한 성능 향상이 관찰되어 다단계 잔차 설계의 효과성을 확인한다.
• 두 모듈로 구성된 CMRL 시스템은 15.85 kbps에서 AMR-WB가 23.85 kbps에서 기록한 PESQ 점수를 뛰어넘어 저비트레이트에서 뛰어난 성능을 보인다.