[논문 리뷰] Enhanced Factored Three-Way Restricted Boltzmann Machines for Speech Detection

Pengfei Sun, Jun Qin|arXiv (Cornell University)|2016. 11. 01.

Speech and Audio Processing참고 문헌 18인용 수 5

한 줄 요약

이 논문은 음성 프레임 간의 시간적 상관관계를 모델링하기 위해 적응형 가중치와 임계값 축소 기법을 갖춘 곱셈형 입력 브랜치를 도입하여 음성 탐지용 개선된 인자 분해 3방향 제한 볼츠만 머신(EFTW-RBMs)을 제안한다. 이 방법은 저랭크 인자 분해와 비음수 정규화를 사용하여 파라미터를 감소시키고 특징의 희박성을 향상시켜, 잡음 환경 하에서 1차원 및 2차원 음성 탐지에서 우수한 성능을 달성하며, AUC 및 SDR 지표에서 최신 기술을 능가한다.

ABSTRACT

In this letter, we propose enhanced factored three way restricted Boltzmann machines (EFTW-RBMs) for speech detection. The proposed model incorporates conditional feature learning by multiplying the dynamical state of the third unit, which allows a modulation over the visible-hidden node pairs. Instead of stacking previous frames of speech as the third unit in a recursive manner, the correlation related weighting coefficients are assigned to the contextual neighboring frames. Specifically, a threshold function is designed to capture the long-term features and blend the globally stored speech structure. A factored low rank approximation is introduced to reduce the parameters of the three-dimensional interaction tensor, on which non-negative constraint is imposed to address the sparsity characteristic. The validations through the area-under-ROC-curve (AUC) and signal distortion ratio (SDR) show that our approach outperforms several existing 1D and 2D (i.e., time and time-frequency domain) speech detection algorithms in various noisy environments.

연구 동기 및 목표

• 음성 프레임 간의 시간적 상관관계를 모델링하여 잡음 환경에서의 음성 탐지 성능을 향상시키기.
• 저랭크 인자 분해와 비음수 정규화를 통해 3방향 RBMs의 모델 복잡도를 감소시키기.
• 동적 가중치와 임계값 설정을 갖춘 곱셈형 입력 브랜치를 통합하여 특징 표현을 향상시키기.
• 시간-주파수 도메인에서 음성 존재 확률(SPP) 추정의 강건성을 확보하기.
• AUC 및 SDR 지표에서 기존의 1D 및 2차원 음성 탐지 방법을 능가하기.

제안 방법

• 에너지 함수에 3차원 상호작용을 모델링하기 위해 게이트드 입력 메커니즘을 갖춘 곱셈형 제3브랜치를 도입한다.
• 지역적 프레임 통계에 기반하여 입력 표현을 동적으로 업데이트하고 정밀화하기 위해 가중치 계수 α와 임계값 축소 함수 𝒮_T를 적용한다.
• 세 가지 작은 행렬(w^x, w^y, w^h)로 3방향 상호작용 텐서 w_ijk를 분해함으로써 모델 파라미터를 감소시킨다.
• 인자 분해된 행렬에 비음수 제약 조건을 부여하여 학습된 표현의 해석 가능성 향상과 특징의 희박성 개선을 도모한다.
• 은닉층에서의 역방향 샘플링을 통해 음성 성분을 재구성하고 탐지용 SPP 값을 생성한다.
• 학습 및 테스트 데이터를 정규화하고 안정적인 최적화를 위해 모멘터럼 기반 학습률 스케줄링을 사용한다.

실험 결과

연구 질문

• RQ1 게이트드 3방향 RBM 아키텍처는 음성 프레임 간의 시간적 상관관계를 효과적으로 모델링하여 탐지 성능을 향상시킬 수 있는가?
• RQ2 저랭크 인자 분해는 3방향 RBMs의 파라미터 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 비음수 정규화는 잡음 조건에서 특징의 희박성과 탐지 강건성에 얼마나 기여하는가?
• RQ4 제안된 EFTW-RBM은 AUC 및 SDR 지표에서 기존의 1D 및 2차원 음성 탐지 방법과 비교해 어떻게 성능을 냅니다?
• RQ5 적응형 가중치와 임계값 설정을 갖춘 강화된 입력 메커니즘은 시간-주파수 도메인에서 SPP 추정을 향상시킬 수 있는가?

주요 결과

• 바블 노이즈에서 5 dB SNR 조건에서 EFTW-RBMs는 평균 AUC 0.88을 기록하여 MLP-DNN(0.86), DBN(0.81), FTW-RBMs(0.79), Ying(0.70)를 능가한다.
• 粉색 노이즈에서 -5 dB SNR 조건에서 EFTW-RBMs는 AUC 0.81을 기록하여 FTW-RBMs(0.70)와 Ying(0.62)를 앞서며 우월성을 입증한다.
• 2D SPP 추정에서 EFTW-RBMs는 5 dB SNR 조건에서 흰색 노이즈에서 SDR 0.37을 기록하여 Gerkmann(0.46), EM-ML(0.46), FTW-RBMs(0.45)를 모두 능가한다.
• 모델은 바블, 가우시안, 흰색 노이즈 세 가지 노이즈 유형과 모든 SNR 수준에서 일관된 우수성을 보이며, 모든 설정에서 가장 낮은 SDR 값을 기록한다.
• 그림 4의 시각적 결과는 EFTW-RBMs가 스펙트로그램에서 음성 활동을 더 정확하게 포착하며, SPP 값이 청소된 음성 세기와 밀접하게 일치함을 보여준다.
• 저랭크 인자 분해와 비음수 정규화를 통한 파라미터 감소의 분석 결과는 잡음 환경에서의 일반화 능력 향상과 강건성 향상에 기여한다.