[논문 리뷰] TLDiffGAN: A Latent Diffusion-GAN Framework with Temporal Information Fusion for Anomalous Sound Detection

Chengyuan Ma, Peng Jia외 2명|arXiv (Cornell University)|2026. 02. 01.

Music and Audio Processing인용 수 0

한 줄 요약

TLDiffGAN은 잠재 확산–GAN 백본과 이중 분기 특징 융합(스펙트로그램과 원시 파형 인코더) 및 TMixup을 결합해 DCASE 2020 Task 2에서 비지도 이상 음향 탐지 및 위치지정 성능을 향상시킵니다.

ABSTRACT

Existing generative models for unsupervised anomalous sound detection are limited by their inability to fully capture the complex feature distribution of normal sounds, while the potential of powerful diffusion models in this domain remains largely unexplored. To address this challenge, we propose a novel framework, TLDiffGAN, which consists of two complementary branches. One branch incorporates a latent diffusion model into the GAN generator for adversarial training, thereby making the discriminator's task more challenging and improving the quality of generated samples. The other branch leverages pretrained audio model encoders to extract features directly from raw audio waveforms for auxiliary discrimination. This framework effectively captures feature representations of normal sounds from both raw audio and Mel spectrograms. Moreover, we introduce a TMixup spectrogram augmentation technique to enhance sensitivity to subtle and localized temporal patterns that are often overlooked. Extensive experiments on the DCASE 2020 Challenge Task 2 dataset demonstrate the superior detection performance of TLDiffGAN, as well as its strong capability in anomalous time-frequency localization.

연구 동기 및 목표

• 단일 모달리티 및 전통적 생성 모델의 ASD 한계에 대한 동기 부여 및 해결
• 로그-Mel 스펙트로그램 재구성과 원시 파형 특징을 융합하는 이중 분기 프레임워크 제안
• 正常 경계 근처의 미묘한 시간 변화를 감지하기 위한 적응적 TMixup 도입
• 스펙트로그램에서 잃어버린 정보를 보존하기 위한 사전 학습된 오디오 인코더 활용
• DCASE 2020 Task 2에서 우수한 성능과 로컬라이제이션 시연

제안 방법

• 잠재 공간에서 Latent Diffusion Model과 GAN을 결합하여 고품질의 로그-Mmel 스펙트로그램을 재구성하는 LDGAN 백본 도입
• 생성기를 소음 예측 손실과 통계적 특징 공간 매칭 손실의 이중 목적 최적화로 학습; 판별기는 안정성을 위한 적대적 손실과 그래디언트 페널티 사용
• TMixup 모듈을 통해 풀링된 로그-Mel 특징으로부터 소프트한 시간 주의 맵을 계산하고, 높은 주의 영역에서 하드 마스킹 및 로컬라이즈된 Mixup를 적용하여 시간적 특징 강화
• 사전 학습된 오디오 인코더(EAT, BEATs, AST 변형, BEATs 등)를 스펙트로그램 특징과 병행하여 견고한 원시 파형 임베딩 추출
• 감지기는 잠재 공간 재구성 오차에서의 재구성 기반 점수(s_r)와 융합 Mel 및 파형 특징에 대한 임베딩 기반 앙상블(KNN, LOF, GMM, SOS)을 결합; 최종 점수는 검증 기반으로 머신별 최적의 감지기를 선택

실험 결과

연구 질문

• RQ1 스펙트로그램 기반 재구성과 원시 파형 임베딩을 모두 활용하는 이중 분기 프레임워크가 메타데이터에 의존하지 않고 ASD 성능을 향상시킬 수 있는가?
• RQ2 잠재 확산을 GAN 학습과 통합하는 것이 재구성 충실도와 ASD에서의 학습 안정성을 향상시키는가?
• RQ3 TMixup이 경계 영역을 강조하여 시간적 로컬라이제이션을 향상시키는가?
• RQ4 사전 학습된 오디오 인코더가 스펙트로그램 기반 방법과 결합될 때 ASD 성능에 미치는 영향은 무엇인가?
• RQ5 제안된 방법이 DCASE 2020 Task 2 데이터셋의 여러 기계 유형에서 어떻게 성능을 발휘하고 시-주파수 공간에서 이상을 얼마나 잘 로컬라이즈하는가?

주요 결과

• 저희 방법은 기계 유형 전반에 걸쳐 평균 AUC 및 pAUC에서 최고치를 기록: 평균 AUC 88.60%, 평균 pAUC 74.35%.
• 제안 방법은 대부분의 기계에서 DCASE 2020 Task 2의 주요 생성 모델을 능가합니다.
• EAT 기반 인코더가 테스트된 사전 학습 인코더들 중 평균 성능이 가장 우수합니다.
• 요소 제거(잠재 확산, EAT 인코더, 로그-멜 향상)시 성능 저하가 나타납니다.
• 모델은 재구성 잔차 분석을 통한 이상 탐지의 시간-주파수 로컬라이제이션이 강하게 나타납니다.