[論文レビュー] TLDiffGAN: A Latent Diffusion-GAN Framework with Temporal Information Fusion for Anomalous Sound Detection

Chengyuan Ma, Peng Jia+2 more|arXiv (Cornell University)|Feb 1, 2026

Music and Audio Processing被引用数 0

ひとこと要約

TLDiffGAN は潜在拡散–GAN バックボーンとデュアルブランチの特徴融合（スペクトログラムと生波形エンコーダ）および TMixup を組み合わせ、DCASE 2020 Task 2 における教師なしの異常音検知と局在化を改善する。

ABSTRACT

Existing generative models for unsupervised anomalous sound detection are limited by their inability to fully capture the complex feature distribution of normal sounds, while the potential of powerful diffusion models in this domain remains largely unexplored. To address this challenge, we propose a novel framework, TLDiffGAN, which consists of two complementary branches. One branch incorporates a latent diffusion model into the GAN generator for adversarial training, thereby making the discriminator's task more challenging and improving the quality of generated samples. The other branch leverages pretrained audio model encoders to extract features directly from raw audio waveforms for auxiliary discrimination. This framework effectively captures feature representations of normal sounds from both raw audio and Mel spectrograms. Moreover, we introduce a TMixup spectrogram augmentation technique to enhance sensitivity to subtle and localized temporal patterns that are often overlooked. Extensive experiments on the DCASE 2020 Challenge Task 2 dataset demonstrate the superior detection performance of TLDiffGAN, as well as its strong capability in anomalous time-frequency localization.

研究の動機と目的

• 単一モダリティおよび従来の生成モデルが ASD で直面する制限を動機づけて対処する。
• 対になったフレームワークを提案し、対数メルスペクトログラム再構成と生波形特徴の融合を行う。
• 正常境界付近の微小な時間変動に対する感度を高める適応的 TMixup を導入する。
• スペクトログラム情報で失われた情報を保持するための事前学習済み音声エンコーダを活用する。
• DCASE 2020 Task 2 において優れた性能と局在化を実証する。

提案手法

• 潜在空間での Latent Diffusion Model と GAN を統合し高品質な log-Mel スペクトログラムを再構成する（LDGAN バックボーン）。
• ジェネレーターをノイズ予測損失と統計的特徴空間一致損失の二重目的で最適化する；判別器は安定性のための敵対的損失と勾配ペナルティを使用。
• パイプライン内の高注意領域でソフトな時間アテンションマップを pooling ログ-メル特徴から計算し、ハードマスキングと局所的 Mixup を適用する TMixup モジュールを強化する。
• スペクトログラム特徴と並行して堅牢な生波形埋め込みを抽出するための事前学習済み音声エンコーダ（例: EAT、BEATs、AST 系、BEATs など）を活用する。
• 検出器は潜在空間再構成誤差からの再構成ベースのスコア（s_r）と、Mel と波形特徴を融合した埋め込みベースのアンサンブル（KNN、LOF、GMM、SOS）を組み合わせる；検証データに基づき機械ごとに最良の検出器を選択する最終スコア。

実験結果

リサーチクエスチョン

• RQ1 スペクトログラムベースの再構成と生波形埋め込みのデュアルブランチ Framework が機械メタデータに頼らず ASD の性能を改善できるか？
• RQ2 潜在拡散と GAN の訓練統合が再構成忠実度を高め ASD の訓練を安定化させるか？
• RQ3 TMixup は正規分布の境界領域を強調することで時間的局在化を高められるか？
• RQ4 スペクトログラムベースの手法と組み合わせた際、事前学習済み音声エンコーダの ASD 性能への影響は？
• RQ5 提案手法は DCASE 2020 Task 2 の複数の機械タイプでどの程度性能を発揮し、時-周波数空間での異常局在化をどれだけ適切に行えるか？

主な発見

• 我々の手法は機械タイプをまたぐ平均 AUC および pAUC で最高を達成: 88.60%（AUC）および 74.35%（pAUC）。
• 提案手法は大半の機械で DCASE 2020 Task 2 の主流生成モデルを上回る。
• EAT ベースのエンコーダが試験済みの事前学習済みエンコーダの中で最良の平均性能を示す。
• Latent diffusion の除去、EAT エンコーダ、または log-Mel 強化を除去すると性能が低下することをアブレーションで示す。
• 再構成残差解析による異常の時-周波数局在化が強力であることを示す。