[論文レビュー] HyperSound: Generating Implicit Neural Representations of Audio Signals with Hypernetworks

Filip Szatkowski, Karol J. Piczak+3 more|arXiv (Cornell University)|Nov 3, 2022

Hearing Loss and Rehabilitation被引用数 5

ひとこと要約

HyperSoundは、任意の音声信号のための暗黙的ニューラル表現（INR）を生成するハイパーネットベースのメタラーニングフレームワークを提案する。これにより、1つのモデルで解像度に依存しない音声再構成が可能となり、RAVEなどの最先端モデルと同等の知覚的妥当性を持つ再構成が達成される。主な貢献は、ハイパーネットを音声INRに初めて適用した点である。

ABSTRACT

Implicit neural representations (INRs) are a rapidly growing research field, which provides alternative ways to represent multimedia signals. Recent applications of INRs include image super-resolution, compression of high-dimensional signals, or 3D rendering. However, these solutions usually focus on visual data, and adapting them to the audio domain is not trivial. Moreover, it requires a separately trained model for every data sample. To address this limitation, we propose HyperSound, a meta-learning method leveraging hypernetworks to produce INRs for audio signals unseen at training time. We show that our approach can reconstruct sound waves with quality comparable to other state-of-the-art models.

研究の動機と目的

• 個々の音声サンプルごとに別々のモデルを必要とする従来の暗黙的ニューラル表現（INR）手法の制限を解決し、多様な音声入力に対して効率的でない問題を改善すること。
• 推論時に未学習の音声信号に対しても高品質なINRを1つのモデルで生成可能にし、個々の信号に対する微調整の必要性を回避すること。
• 画像や3次元データに既に使用されているハイパーネットを、時間的変動が大きく複雑な音声ドメインに適用可能かどうかを検証すること。
• 多様な音声コンテンツおよびサンプリングレートに一般化可能なメタラーニングフレームワークを構築し、スーパーレゾリューションおよびリサンプリングタスクをサポートすること。
• 時間領域と周波数領域の再構成を統合したマルチドメイン損失関数を用いて、音声INR生成における訓練の安定性と知覚的品質を向上させること。

提案手法

• 入力音声信号 $\bm{x}$ から、ターゲットネットワーク $T$ の重み $\bm{\theta}_x$ を生成するハイパーネット $H$ を用い、任意の入力に対して一貫したINRを生成可能な1つのモデルを実現する。
• 入力音声信号から低次元の潜在表現を抽出するために、SoundStreamに基づく畳み込みエンコーダーを採用する。
• 時間座標 $t \in [0,1]$ をモデル化するため、$k = 0$ から $L-1$ まで変化する正弦波周波数 $\sin(2^k \pi t)$ と $\cos(2^k \pi t)$ を用いた位置エンコーディングをターゲットネットワーク $T$ に導入し、$L=16$ とする。
• 時間領域のL1再構成損失と周波数領域のSTFTベース損失を組み合わせた教師あり損失を用いてハイパーネットを訓練し、知覚的品質を向上させる。
• 異なるFFTサイズ $[128, 256, 512, 1024, 2048]$ を用いたマルチスケールSTFT損失を適用し、人間の聴覚認識に適合させるためにメルスケール変換を導入する。
• バックプロパゲーションにより全システムを最適化し、ハイパーネットが再構成誤差を時間領域および周波数領域で最小化するようにターゲットネットワークの重みを生成するように学習する。

実験結果

リサーチクエスチョン

• RQ1 音声波形の高い変動性と複雑さを考慮しても、ハイパーネットが音声信号のための暗黙的ニューラル表現を効果的に生成できるか？
• RQ2 多様な音声データで学習された1つのハイパーネットモデルが、任意のサンプリングレートで未学習の音声信号を高品質に再構成できるか、一般化性能を示せるか？
• RQ3 損失関数の選択、特にSTFTおよびメルスケール成分の有無が、音声INR生成における訓練の安定性と再構成品質に与える影響はいかほどか？
• RQ4 MSE、LSD、およびSI-SNRやSTOIといった知覚的指標を考慮した場合、ターゲットネットワークのサイズと再構成性能の最適なトレードオフは何か？
• RQ5 特に学習時のサンプリングレート外のクエリに対して、品質の著しい劣化を伴わず、スーパーレゾリューションおよびリサンプリングタスクをサポートできるか？

主な発見

• HyperSoundは、VCTKの検証セットで平均二乗誤差（MSE）0.049、対数スペクトル歪み（LSD）0.99を達成し、RAVEという最先端モデルと同等の定量的性能を示した。
• リサンプリングタスクにおいても安定した再構成品質を維持した：8kHz（LSD: 1.24）、16kHz（LSD: 1.19）、22.05kHz（LSD: 0.99）、44.1kHz（LSD: 1.38）で、学習ドメイン外のクエリに対しても最小限の崩壊を示した。
• ベースとなるターゲットネットワーク（4×256ニューロン）が、再構成品質と計算コストのバランスが最良であり、より小さい（4×64）やより大きな（6×384）バージョンを上回るSI-SNRおよびSTOIの指標を達成した。
• STFT損失の使用は訓練の安定性と知覚的品質に不可欠であることが示された。STFT損失なし、またはL1損失のみのモデルでは訓練中に崩壊が発生し、その必要性が明確になった。
• L1 + STFT損失の設定が優れた結果（SI-SNR: -23.50、STOI: 0.87）をもたらし、メルスケールSTFTバージョンはデフォルトのHyperSound性能と同等であった。
• 強力な定量的結果を示したが、知覚的品質はRAVEにわずかに劣っており、音声固有のインダクティブバイアスを考慮したハイパーネットアーキテクチャおよびターゲットネットワーク設計の改善の余地があることが示唆された。