[논문 리뷰] Streaming ResLSTM with Causal Mean Aggregation for Device-Directed Utterance Detection

Xiaosu Tong, Che-Wei Huang외 6명|arXiv (Cornell University)|2020. 07. 17.

Speech and Audio Processing참고 문헌 15인용 수 4

한 줄 요약

이 논문은 실시간 기기 지향 음성 탐지에 적합한 스트리밍 ResLSTM 모델을 제안하며, 인과적 평균 집계를 통해 온라인 추론 중 조기이고 정확한 예측을 가능하게 한다. 이 방법은 이전 모델 대비 등오차율(EER)을 41% 감소시켜, 특히 조기 결정 상황에서 어텐션 기반 접근법을 능가한다.

ABSTRACT

In this paper, we propose a streaming model to distinguish voice queries intended for a smart-home device from background speech. The proposed model consists of multiple CNN layers with residual connections, followed by a stacked LSTM architecture. The streaming capability is achieved by using unidirectional LSTM layers and a causal mean aggregation layer to form the final utterance-level prediction up to the current frame. In order to avoid redundant computation during online streaming inference, we use a caching mechanism for every convolution operation. Experimental results on a device-directed vs. non device-directed task show that the proposed model yields an equal error rate reduction of 41% compared to our previous best model on this task. Furthermore, we show that the proposed model is able to accurately predict earlier in time compared to the attention-based models.

연구 동기 및 목표

• 실시간에서 온라인 추론이 가능한 모델을 개발하여, 기기 지향(DD)과 비기기 지향(ND) 음성을 구분한다.
• 말문이 불확실하거나 알려지지 않은 경우, 스트리밍 환경에서의 조기 예측 정확도를 향상시킨다.
• 복수의 컨볼루션 레이어 캐싱을 통해 온라인 추론에서의 중복 계산을 방지함으로써 계산 오버헤드를 줄인다.
• 스트리밍 환경에서 프레임 수준 임bedding을 문장 수준 예측으로 변환하기 위한 집계 방법을 평가하고 비교한다.
• 조기 결정이 요구되는 상황에서 인과적 평균 집계가 어텐션 메커니즘을 능가함을 입증하며, 문장 종료 시 성능을 훼손하지 않는다.

제안 방법

• 계층적인 음향 특징을 추출하기 위해 여섯 개의 잔차 블록, 배치 정규화, 단방향 LSTMs를 포함한 깊은 ResLSTM 아키텍처를 사용한다.
• 프레임 수준의 LSTM 출력($h_t$)에 인과적 평균 집계를 적용하여 스트리밍되고 시간 순서가 보장된 문장 수준의 예측을 생성한다.
• 모든 컨볼루션 연산에 대해 캐싱 메커니즘을 도입하여 온라인 추론 중 중복 계산을 제거한다.
• 온라인 학습을 지원하기 위해 프레임 단위 역전파를 적용하고, 반복적인 문장 수준 레이블을 사용한다.
• 프레임 수준의 $h_t$와 예측 로짓 $y_t$에 대해 인과적 평균 집계를 어텐션, 전역 평균, RNN 기반 집계 방법과 비교한다.
• 미래 프레임을 마스킹하는 인과적 어텐션 변형을 구현했지만, 실시간 사용에 있어 계산 비용이 과도하여 비현실적임을 확인했다.

실험 결과

연구 질문

• RQ1 기기 지향 음성 탐지에서, 인과적 평균 집계를 갖춘 스트리밍 ResLSTM 모델이 어텐션 기반 모델보다 조기 예측 성능을 더 뛰어나게 할 수 있는가?
• RQ2 인과적 평균 집계는 문장 종료 시 어텐션과 유사한 성능을 유지하면서도 조기 결정을 가능하게 하는가?
• RQ3 기기 지향 음성 탐지의 EER 측면에서, ResLSTM 아키텍처는 다른 아키텍처(예: ResNet, CLDNN, LSTM)와 비교해 어떻게 성능을 내는가?
• RQ4 온라인 스트리밍 환경에서 어텐션 기반 집계와 인과적 평균 집계의 계산 비용은 각각 얼마나 되는가?
• RQ5 컨볼루션 레이어 캐싱은 모델 정확도를 훼손하지 않으면서 스트리밍 추론에서의 중복 계산을 효과적으로 줄일 수 있는가?

주요 결과

• 제안된 ResLSTM 모델에 인과적 평균 집계를 적용한 결과, 기기 지향 대비 비기기 지향 음성 탐지 작업에서 이전 최고 성능 모델 대비 등오차율(EER)을 41% 감소시켰다.
• 인과적 평균 집계는 문장 종료 시 어텐션 기반 집계와 유사한 성능을 달성했으며, 기준 모델 대비 상대적 EER 향상률 0.6%를 기록했다.
• 조기 시점(예: 문장 시작 후 1~2초)에서 인과적 평균 집계는 어텐션 대비 EER을 24.7% 감소시켜 조기 결정 능력이 뛰어나다는 것을 입증했다.
• 문장 중간점($0.5L$)에서 평가했을 때, 인과적 평균 집계는 $h_t$에 대해 어텐션 대비 EER을 16.0% 향상시켜 변동하는 문장 종료 시간에 대한 강건성을 입증했다.
• ReLU 활성화 함수를 사용한 RNN 기반 집계 방법은 기준 모델 대비 EER을 2.4% 증가시켰으며, 이는 흐려짐 기울기의 영향일 가능성이 높다. 반면 tanh 변형은 오직 0.6% 향상에 그쳤다.
• 특히 어간이 매 프레임마다 재계산이 필요한 실시간 스트리밍 환경에서, 인과적 평균 집계는 어텐션 기반 방법보다 훨씬 계산 효율성이 뛰어나다.