[論文レビュー] mmWave Radar Aware Dual-Conditioned GAN for Speech Reconstruction of Signals With Low SNR

Jash Karani, Adithya Chittem+2 more|arXiv (Cornell University)|Feb 25, 2026

Speech and Audio Processing被引用数 0

ひとこと要約

RAD-GAN は残差統合ゲートとマルチメル判別器を備えた二段階のレーダー認識 GAN で、極めて低SNRのmmWaveレーダデータから高帯域の音声を再構成し、タスク1とタスク2でベースラインを上回る

ABSTRACT

Millimeter-wave (mmWave) radar captures are band-limited and noisy, making for difficult reconstruction of intelligible full-bandwidth speech. In this work, we propose a two-stage speech reconstruction pipeline for mmWave using a Radar-Aware Dual-conditioned Generative Adversarial Network (RAD-GAN), which is capable of performing bandwidth extension on signals with low signal-to-noise ratios (-5 dB to -1 dB), captured through glass walls. We propose an mmWave-tailored Multi-Mel Discriminator (MMD) and a Residual Fusion Gate (RFG) to enhance the generator input to process multiple conditioning channels. The proposed two-stage pipeline involves pretraining the model on synthetically clipped clean speech and finetuning on fused mel spectrograms generated by the RFG. We empirically show that the proposed method, trained on a limited dataset, with no pre-trained modules, and no data augmentations, outperformed state-of-the-art approaches for this specific task. Audio examples of RAD-GAN are available online at https://rad-gan-demo-site.vercel.app/.

研究の動機と目的

• ガラス壁を通じて取得される帯域制限およびノイズのあるmmWaveレーダ信号から intelligible な音声を再構成する課題に対応する。
• マルチチャネル条件付けを用いた Robust な帯域拡張のための Radar-Aware Dual-conditioned GAN (RAD-GAN) を開発する。
• 限られたデータ下での収束性を改善するための二段階学習パイプライン（事前学習と微調整）を提案する。
• ノイズの多いレーダー情報と WaveVoiceNet 条件付けを Residual Fusion Gate で融合し、表現を豊かにする。

提案手法

• RAD-GAN は mmWave レーダ処理に由来する80-bandメルスペクトログラムで条件付けられた HiFi-GAN ジェネレーターを使用。
• スペクトルおよびウェイト正規化ブランチを有する Mel スペクトログラム上で動作する Multi-Mel Discriminator (MMD) を導入し、学習を安定化。
• WaveVoiceNet (WVN) 条件付けパスと Residual Fusion Gate (RFG) を追加し、複数の条件付けチャンネルを融合。
• 二段階学習: Phase 1 はスペクトル再構成損失でジェネレーターを事前訓練；Phase 2 は MPD、MSD、MMD に渡る敵対的損失と特徴量整合損失を用いて微調整。
• 損失には L-mel、MR-STFT によるスペクトル忠実度、微調整時の HiFi-GAN 敵対損失と特徴量整合損失を含む。
• 事前学習ではクリップされたクリーン音声を使用；微調整では WVN 条件付けを備えた実レーダ由来のノイズ入力を使用。

実験結果

リサーチクエスチョン

• RQ1 mmWaveレーダー由来の音声再構成が、デュアル条件付け GAN アプローチを通じて非常に低いSNR（-5 dB 〜 -1 dB）で堅牢な帯域拡張を達成できるか。
• RQ2 Radar-Aware Multi-Mel Discriminator と Residual Fusion Gate の組み込みが、ベースラインより知覚品質とスペクトル忠実度を向上させるか。
• RQ3 データ不足時に拡張なしで、事前学習と WVN 条件付けを組み合わせた二段階の学習パイプラインが有効か。
• RQ4 RAD-GAN は Task 1 および Task 2 において WaveVoiceNet および HiFi-GAN のベースラインと客観指標および重み付き総合スコアでどの程度比較されるか。

主な発見

Tag	PESQ	ESTOI	CS	DNS	T1	T2	W
M0	1.302	0.173	0.675	1.558	0.309	0.228	0.260
M1	1.311	0.144	0.627	2.286	0.332	0.258	0.288
M2	1.547	0.080	0.377	1.318	0.179	0.167	0.172
M3	1.174	0.065	0.449	1.472	0.196	0.144	0.165
M4	1.230	0.058	0.288	1.083	0.117	0.100	0.106
M5	1.175	0.091	0.301	1.225	0.149	0.100	0.119
M6	1.310	0.190	0.669	2.688	0.387	0.297	0.333

• RAD-GAN は Task 1 と Task 2 の全体の重み付きスコアで最高（0.333）。
• RAD-GAN は報告された指標で WaveVoiceNet および HiFi-GAN を上回り、PESQ、ESTOI、CSMFCC、DNSMOS の性能を維持。
• 提案された MMD および MR-STFT 損失は学習の安定性とスペクトル的リアリズムを改善。
• WVN 条件付けを伴う二段階学習は、データが限られ拡張なしでもベースラインより大きな利得を生む。
• アブレーションにより、事前学習への MMD+MR-STFT の追加と WVN 条件付けの導入で性能が徐々に向上することが示された。