[논문 리뷰] Query-by-example Spoken Term Detection using Attention-based Multi-hop Networks

Chia-Wei Ao, Hung-yi Lee|arXiv (Cornell University)|2017. 09. 01.

Speech Recognition and Synthesis참고 문헌 20인용 수 4

한 줄 요약

이 논문은 번역 없이 직접 음성 신호를 이용하는 쿼리 기반 예제의 말(term) 탐지(_STD_)를 위한 엔드 투 엔드 주의 기반 다단계 네트워크를 제안한다. 모델은 주의 메커니즘을 사용해 음성 세그먼트 내에서 쿼리 어휘를 국소화하고, 다단계 처리를 통해 표현을 정교화하며, 특히 레이블이 없는 비지도 학습 설정에서 레이블이 없는 데이터를 사용해 DTW를 모방함으로써 런타임 복잡도가 훨씬 낮은 성능을 달성한다.

ABSTRACT

Retrieving spoken content with spoken queries, or query-by- example spoken term detection (STD), is attractive because it makes possible the matching of signals directly on the acoustic level without transcribing them into text. Here, we propose an end-to-end query-by-example STD model based on an attention-based multi-hop network, whose input is a spoken query and an audio segment containing several utterances; the output states whether the audio segment includes the query. The model can be trained in either a supervised scenario using labeled data, or in an unsupervised fashion. In the supervised scenario, we find that the attention mechanism and multiple hops improve performance, and that the attention weights indicate the time span of the detected terms. In the unsupervised setting, the model mimics the behavior of the existing query-by-example STD system, yielding performance comparable to the existing system but with a lower search time complexity.

연구 동기 및 목표

• 번역 없이 음성 신호에 직접 작용하는 엔드 투 엔드 딥 러닝 모델을 개발하여 쿼리 기반 예제의 말(term) 탐지(_STD_)를 수행한다.
• 동적 시간 왜곡(DTW)의 한계(높은 계산 복잡도 및 학습 가능한 파rameter가 없음)를 해결하기 위해 DTW를 학습 가능한 신경망으로 대체한다.
• 감독 학습 및 비감독 학습 설정을 모두 지원하여, 레이블이 없을 경우 사용자 피드백이나 DTW로부터의 디스틸레이션을 통해 모델 성능을 향상시킬 수 있도록 한다.
• 주의 메커니즘을 사용해 더 긴 음성 세그먼트 내에서 쿼리 어휘의 시간 범위를 국소화함으로써 사전에 분할된 단어 경계가 필요 없도록 한다.
• 다단계 추론을 통해 일반화 능력과 성능을 향상시키며, 음성 세그먼트의 정보를 기반으로 쿼리 표현을 반복적으로 업데이트한다.

제안 방법

• 모델의 입력으로 MFCC 음성 특징을 사용해 말 쿼리와 음성 세그먼트를 표현한다.
• 일방향 LSTM 인코더를 사용해 말 쿼리를 고정된 차원의 벡터로 임bedding한다.
• 쿼리 벡터와 음성 세그먼트의 각 타임스텝 간의 정렬 점수를 계산하는 주의 메커니즘을 적용하여, 관련 영역을 강조하는 주의 가중치를 생성한다.
• 쿼리 표현을 음성 세그먼트의 맥락 인식 정보를 사용해 반복적으로 업데이트하는 다단계 메커니즘을 구현하며, 여러 단계를 거쳐 표현 품질을 향상시킨다.
• 키워드 검출기(피드포워드 네트워크)를 사용해 쿼리 어휘가 음성 세그먼트에 존재하는지 여부의 신뢰도 점수를 산출한다.
• 감독 학습 설정에서는 레이블 데이터에 대해 이진 교차 엔트로피 손실을 사용하고, 비감독 학습 설정에서는 DTW의 유사도 점수를 회귀 타겟으로 삼아 디스틸레이션을 수행한다.

Fig. 1 : Framework and training scenarios

실험 결과

연구 질문

• RQ1 엔드 투 엔드 주의 기반 다단계 네트워크가 전통적인 DTW를 능가하면서도 계산 복잡도를 줄일 수 있는가?
• RQ2 주의 메커니즘이 말(term) 탐지에서 국소화 정확도와 성능을 얼마나 향상시키며, 탐지된 어휘의 시간 범위를 어떻게 드러내는가?
• RQ3 다단계 추론이 학습 및 테스트 데이터가 불일치할 경우에도 일반화 능력을 향상시키는가?
• RQ4 DTW를 태도로 삼아 비지도 학습 방식으로 훈련한 신경망이 레이블이 없는 조건에서 DTW와 유사한 성능을 달성하면서도 추론 시간이 더 짧은가?
• RQ5 DTW와 제안된 주의 기반 모델은 앙상블 설정에서 얼마나 상호보완적인가?

주요 결과

• 감독 학습 설정에서 제안된 주의 기반 다단계 네트워크는 테스트 세트 1에서 평균 평균 정밀도(MAP) 0.6676을 달성하며, 싱글호프 및 기준 DTW 방법을 능가한다.
• 주의 가중치는 쿼리 어휘의 끝을 높은 정밀도로 국소화한다: 예측의 25%가 1초 이내의 오차를 가지며, 대부분의 주의 피크는 진짜 끝 시간에서 0.1~0.5초 이내에 위치한다.
• 다단계 네트워크는 일반화 능력을 향상시키며, 3단계 모델이 테스트 세트 2와 3에서 최고 성능을 보이며, 각각 MAP 0.6404와 0.5837을 기록한다.
• 비감독 학습 설정에서 3단계 주의 모델은 테스트 세트 2와 3에서 DTW를 능가한다(MAP: 0.5964와 0.5702 vs. 0.5778와 0.5678), 이는 레이블이 없음에도 불구하고 뛰어난 일반화 능력을 보임을 시사한다.
• 추론 시 DTW보다 7배 빠르며, 시간 복잡도는 O(M×n)이며, 여기서 n은 단계 수, N은 쿼리 길이이다. 이는 실시간 응용에 적합하다.
• DTW 출력과 3단계 주의 모델을 앙상블하면 추가로 향상되며, 테스트 세트 1에서 MAP 0.6789를 달성하여 두 접근 방식이 상호보완적임을 확인한다.

Fig. 2 : Attention mechanism