[논문 리뷰] HyperSound: Generating Implicit Neural Representations of Audio Signals with Hypernetworks

Filip Szatkowski, Karol J. Piczak외 3명|arXiv (Cornell University)|2022. 11. 03.

Hearing Loss and Rehabilitation인용 수 5

한 줄 요약

HyperSound는 임의의 오디오 신호를 위한 암묵적 신경 표현( INR)을 생성하기 위해 하이퍼네트워크 기반 메타학습 프레임워크를 제안한다. 이는 하나의 모델로 해상도에 관계없이 오디오 재구성을 가능하게 하며, RAVE와 같은 최신 기술 수준(SOTA) 모델과 유사한 청각적으로 타당한 재구성을 달성한다. 주요 기여는 하이퍼네트워크를 오디오 INR에 처음으로 적용한 것이다.

ABSTRACT

Implicit neural representations (INRs) are a rapidly growing research field, which provides alternative ways to represent multimedia signals. Recent applications of INRs include image super-resolution, compression of high-dimensional signals, or 3D rendering. However, these solutions usually focus on visual data, and adapting them to the audio domain is not trivial. Moreover, it requires a separately trained model for every data sample. To address this limitation, we propose HyperSound, a meta-learning method leveraging hypernetworks to produce INRs for audio signals unseen at training time. We show that our approach can reconstruct sound waves with quality comparable to other state-of-the-art models.

연구 동기 및 목표

• 기존의 암묵적 신경 표현(INR) 방법은 각 오디오 샘플마다 별도의 모델이 필요해 다양한 오디오 입력에 대해 비효율적이라는 한계를 해결한다.
• 인퍼런스 시에 미리 보지 않은 오디오 신호에 대해 고품질의 INR을 생성할 수 있는 단일 모델을 구현하여, 각 신호에 대한 피니튜닝이 필요 없도록 한다.
• 이미지 및 3D 데이터에 이전에 사용된 바 있는 하이퍼네트워크를 도전적인 오디오 영역에 적용할 수 있는지 탐색한다. 오디오 신호는 높은 시간적 변동성과 복잡성을 가지기 때문이다.
• 다양한 오디오 콘텐츠와 샘플링 속도에 일반화할 수 있는 메타학습 프레임워크를 개발하여 슈퍼레졸루션 및 리샘플링 작업을 지원한다.
• 시간 도메인과 주파수 도메인 재구성의 조합을 포함하는 다영역 손실 함수를 통해 오디오 INR 생성의 훈련 안정성과 청각적 품질을 향상시킨다.

제안 방법

• 원시 오디오 입력 $\bm{x}$ 로부터 타겟 네트워크 $T$의 가중치 $\bm{\theta}_x$ 를 생성하기 위해 하이퍼네트워크 $H$ 를 사용하여, 임의의 입력에 대해 고유한 INR을 생성할 수 있는 단일 모델을 구현한다.
• 입력 오디오 신호로부터 저차원 잠재 표현을 추출하기 위해 SoundStream 기반의 컨볼루션 인코더를 사용한다.
• 타겟 네트워크 $T$ 는 $L=16$ 인 $k = 0$ 에서 $L-1$ 까지의 사인파 및余弦파 주기인 $\sin(2^k \pi t)$ 와 $\cos(2^k \pi t)$ 를 사용한 위치 인코딩을 설계하여 시간 좌표 $t \in [0,1]$ 를 모델링한다.
• 시간 도메인의 L1 재구성 손실과 주파수 도메인의 STFT 기반 손실을 조합한 지도 학습 손실을 사용해 하이퍼네트워크를 훈련시켜 청각적 품질을 향상시킨다.
• 다양한 FFT 크기 $[128, 256, 512, 1024, 2048]$ 를 가진 다중 스케일 STFT 손실을 적용하고, 인간 청각 인지와 더 잘 일치하도록 멜 스케일 변환을 사용한다.
• 백프로파게이션을 통해 전체 시스템을 최적화하며, 하이퍼네트워크는 시간 및 주파수 도메인 전반에 걸쳐 재구성 오차를 최소화하는 타겟 네트워크 가중치를 생성하도록 학습한다.

실험 결과

연구 질문

• RQ1 오디오 웨이브폼의 높은 변동성과 복잡성에도 불구하고, 하이퍼네트워크가 오디오 신호의 암묵적 신경 표현을 효과적으로 생성할 수 있는가?
• RQ2 다양한 오디오 데이터로 훈련된 단일 하이퍼네트워크 모델이 다양한 샘플링 속도에서 미리 보지 않은 오디오 신호를 높은 청각적 품질로 재구성하는 데 일반화 가능한가?
• RQ3 손실 함수의 선택, 특히 STFT 및 멜 스케일 구성 요소의 포함 여부가 오디오 INR 생성에서 훈련 안정성과 재구성 품질에 어떤 영향을 미치는가?
• RQ4 MSE, LSD 및 SI-SNR, STOI와 같은 청각적 지표를 고려할 때, 타겟 네트워크 크기와 재구성 성능 사이의 최적의 트레이드오프는 무엇인가?
• RQ5 특히 훈련 샘플링 속도 외부에서 쿼리하는 경우 품질에 심각한 열화 없이 슈퍼레졸루션 및 리샘플링 작업을 지원할 수 있는가?

주요 결과

• HyperSound는 VCTK 검증 세트에서 평균 제곱 오차(MSE) 0.049와 로그스펙트럼 왜곡(LSD) 0.99를 기록하여, RAVE와 같은 SOTA 모델과 유사한 정량적 성능을 입증했다.
• 모델은 리샘플링 작업 전반에서 안정된 재구성 품질을 유지한다: 8kHz (LSD: 1.24), 16kHz (LSD: 1.19), 22.05kHz (LSD: 0.99), 44.1kHz (LSD: 1.38)에서 훈련 도메인 외부 쿼리 시에도 최소한의 붕괴 현상을 보였다.
• 기본 타겟 네트워크(4×256 뉴런)는 재구성 품질과 계산 비용의 최적의 균형을 이룬다. SI-SNR 및 STOI와 같은 핵심 지표에서 더 작은(4×64) 및 더 큰(6×384) 변형보다 뛰어난 성능을 보였다.
• STFT 손실의 사용은 훈련 안정성과 청각적 품질에 매우 중요하다. STFT 손실 없이 또는 단지 L1 손실만으로 훈련한 모델는 훈련 중 붕괴되는 경향을 보였으며, 이는 STFT 손실의 필수성을 강조한다.
• L1 + STFT 손실 구성이 다른 대안들보다 뛰어난 결과를 낳으며(SI-SNR: -23.50, STOI: 0.87), 멜 스케일 STFT 변형은 기본 HyperSound 성능과 일치한다.
• 강력한 정량적 성능에도 불구하고 청각적 품질은 여전히 RAVE 수준 이하이므로, 오디오 전용 인덕티브 바이어스를 고려한 하이퍼네트워크 아키텍처 및 타겟 네트워크 설계의 향상 여지가 있다.