[논문 리뷰] Reinforcement Learning To Adapt Speech Enhancement to Instantaneous Input Signal Quality

Rasool Fakoor, Xiaodong He외 2명|arXiv (Cornell University)|2017. 11. 29.

Speech and Audio Processing인용 수 6

한 줄 요약

이 논문은 입력 신호 품질의 순순간 변화에 따라 음성 강화 알고리즘의 파rameter를 실시간으로 동적으로 조정하는 강화학습(RL) 프레임워크를 제안한다. 강화학습 알고리즘을 블랙박스로 간주하며, 프레임 단위 피드백을 통해 신호 대 잡음비(SNR), MSE, 스펙트럼 왜곡을 최적화하는 LSTM 기반 RL 에이전트를 사용함으로써, 비적응형 기준 대비 출력 SNR에서 42% 향상되고 MSE에서 16% 향상되는 성과를 달성한다.

ABSTRACT

Today, the optimal performance of existing noise-suppression algorithms, both data-driven and those based on classic statistical methods, is range bound to specific levels of instantaneous input signal-to-noise ratios. In this paper, we present a new approach to improve the adaptivity of such algorithms enabling them to perform robustly across a wide range of input signal and noise types. Our methodology is based on the dynamic control of algorithmic parameters via reinforcement learning. Specifically, we model the noise-suppression module as a black box, requiring no knowledge of the algorithmic mechanics except a simple feedback from the output. We utilize this feedback as the reward signal for a reinforcement-learning agent that learns a policy to adapt the algorithmic parameters for every incoming audio frame (16 ms of data). Our preliminary results show that such a control mechanism can substantially increase the overall performance of the underlying noise-suppression algorithm; 42% and 16% improvements in output SNR and MSE, respectively, when compared to no adaptivity.

연구 동기 및 목표

• 기존 음성 강화 알고리즘이 다양한 입력 신호 대 잡음비(SNR)에서 성능이 떨어지는 한계를 해결하기 위해.
• 강화학습 알고리즘의 내부 지식이 필요 없이, 순순간 신호 품질에 대응해 실시간으로 알고리즘 파rameter를 동적으로 조정할 수 있도록 하기 위해.
• 데이터 기반의 블랙박스 최적화 접근법을 통해 다양한 입력 조건에서의 전반적인 음성 강화 성능 향상을 위해.
• 실제 실생활 오디오 환경에서 실시간 신호 처리 적응을 위한 강화학습의 실현 가능성을 탐색하기 위해.

제안 방법

• 기본적인 음성 강화 알고리즘(Tashev et al., 2009)을 블랙박스로 모델링하여, 보상 신호로 출력 피드백만 필요로 한다.
• LSTM 기반 강화학습 에이전트가 각 16ms 오디오 프레임에서 핵심 알고리즘 파rameter(예: 이득, 임계값, 오프셋)를 조정하는 정책을 학습한다.
• 정답 청소된 신호와의 비교를 통해 유도된 신호 왜곡 지표(MSE, SNR, LSD)를 사용해 보상 신호를 계산함으로써 실시간 피드백을 가능하게 한다.
• 정책을 최적화하기 위해 REINFORCE 알고리즘을 사용하여 시간에 따라 누적 기대 보상을 최대화한다.
• 학습 안정성과 수렴성을 향상시키기 위해 기준선 기반 분산 감소 기법을 적용한다.
• 시스템은 온라인으로 작동하며, 현재 입력 특성에 따라 프레임 단위로 파arameter를 조정함으로써 넓은 SNR 범위(0–30 dB)에서의 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 강화학습이 다양한 입력 SNR 수준에서 음성 강화 알고리즘 파arameter를 실시간으로 효과적으로 적응시킬 수 있는가?
• RQ2 RL을 통한 프레임 단위 파arameter 적응은 고정 파arameter 최적화 대비 SNR, MSE, 스펙트럼 왜곡 측면에서 어떻게 다른가?
• RQ3 신호 수준의 왜곡 지표를 보상 함수로 사용할 경우, 청각적 및 목적적 음성 품질 지표 최적화에 어떤 영향을 미치는가?
• RQ4 SNR 및 MSE 향상에도 불구하고 WER, SER, PESQ가 향상되지 않는 이유는 무엇이며, 이러한 지표들을 강화학습 보상 함수에 통합하는 데의 과제는 무엇인가?

주요 결과

• 제안된 RL 기반 적응형 방법은 고정 파arameter를 사용하는 비적응형 기준 대비 출력 SNR를 42% 향상시키고, MSE를 16% 향상시켰다.
• 로그 스펙트럼 거리(LSD)에서 4% 향상되어, 향상된 음성의 스펙트럼 정밀도가 향상됨을 나타낸다.
• 신호 수준 지표 향상에도 불구하고 WER, SER, PESQ는 유의미한 향상이 없었으며, 이는 이러한 지표들이 보상 함수에 포함되지 않았기 때문이다.
• MSE, SNR, LSD를 기반으로 한 보상 함수는 신호 왜곡을 효과적으로 최적화했지만, 고차원의 음성 인식 또는 청각적 품질 지표에는 직접적인 영향을 주지 못했다.
• RL 에이전트는 프레임 단위로 파arameter를 동적으로 조정하는 것을 성공적으로 학습했으며, 넓은 입력 SNR 범위(0–30 dB)에서 강건성을 입증했다.
• 고정 파aram터 솔루션과는 달리 추론 중에 입력에 따라 동적으로 파arameter를 조정할 수 있기 때문에, 오프라인 최적화 기법보다도 더 뛰어난 성능을 보였다.