[논문 리뷰] Handling the Alignment for Wake Word Detection: A Comparison Between Alignment-Based, Alignment-Free and Hybrid Approaches

Vinícius Gadis Ribeiro, Yiteng Huang외 4명|arXiv (Cornell University)|2023. 02. 17.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 교차 엔트로피, CTC 손실, 그리고 정렬된 데이터와 정렬되지 않은 데이터를 결합한 이중 단계 학습 방법을 사용하여 정렬 기반, 정렬 무관, 하이브리드 접근 방식을 웨이크 워드 검출에 대해 비교한다. 정렬된 데이터와 정렬되지 않은 데이터의 비율이 50/50인 하이브리드 접근 방식이 개별 방법보다 우수하며, 특히 낮은 잘못 수용 비율에서 뛰어난 성능을 보이며, 정렬 기반 학습이 성능의 상한선이라는 가정에 도전한다.

ABSTRACT

Wake word detection exists in most intelligent homes and portable devices. It offers these devices the ability to "wake up" when summoned at a low cost of power and computing. This paper focuses on understanding alignment's role in developing a wake-word system that answers a generic phrase. We discuss three approaches. The first is alignment-based, where the model is trained with frame-wise cross-entropy. The second is alignment-free, where the model is trained with CTC. The third, proposed by us, is a hybrid solution in which the model is trained with a small set of aligned data and then tuned with a sizeable unaligned dataset. We compare the three approaches and evaluate the impact of the different aligned-to-unaligned ratios for hybrid training. Our results show that the alignment-free system performs better than the alignment-based for the target operating point, and with a small fraction of the data (20%), we can train a model that complies with our initial constraints.

연구 동기 및 목표

• 동일한 조건에서 정렬 기반, 정렬 무관, 하이브리드 접근 방식을 웨이크 워드 검출에 대해 평가하고 비교하는 것.
• 정렬 기반 학습이 성능의 상한선을 나타내는지, 정렬 무관 학습이 하한선을 나타내는지 확인하는 것.
• 하이브리드 학습에서 정렬된 데이터와 정렬되지 않은 데이터의 비율을 변화시켰을 때의 영향을 조사하는 것.
• 제한된 정렬된 데이터를 사용하여 큰 정렬되지 않은 데이터 세트와 조합했을 때 성능 향상의 가능성을 평가하는 것.
• 최소한의 레이블이 있는 데이터로 웨이크 워드 검출 시스템을 구축하기 위한 실용적 지침을 제공하는 것.

제안 방법

• 4,274명의 고유한 화자로 구성된 274,194개의 발화문(523시간)을 대상으로 웨이크 워드 검출 모델을 학습시켰다.
• 작은 정렬된 데이터 세트를 사용하여 교차 엔트로피 손실을 이용한 정렬 기반 학습을 수행했다.
• 큰 정렬되지 않은 데이터 세트를 사용하여 CTC 손실을 이용한 정렬 무관 학습을 수행했다.
• 제안된 하이브리드 학습 방법: 먼저 교차 엔트로피 손실을 사용해 정렬된 데이터로 미세 조정한 후, CTC 손실을 사용해 정렬되지 않은 데이터로 계속 학습하는 방식이다.
• 다양한 정렬된 데이터 대비 정렬되지 않은 데이터 비율(1/99, 10/90, 20/80, 50/50)에서 성능을 평가했다.
• 성능을 측정하기 위해 잘못 수용 비율(FAh)과 잘못 거부 비율을 사용했으며, 다양한 운영 조건에서의 상호 보완 관계를 중점적으로 분석했다.

Figure 1 : DET curves for the pairs A01-B99 , A10-B90 , A20-B80 , and A50-B50 , for the alignment-based, alignment-free, and hybrid alignment settings.

실험 결과

연구 질문

• RQ1 작은 정렬된 데이터 세트를 사용한 정렬 기반 학습이 성능의 상한선을 나타내는가?
• RQ2 큰 정렬되지 않은 데이터 세트를 사용한 정렬 무관 학습이 성능의 하한선을 나타내는가?
• RQ3 작은 정렬된 데이터와 큰 정렬되지 않은 데이터 세트를 조합하면, 개별 방법보다 성능 향상을 이룰 수 있는가?
• RQ4 정렬된 데이터 대비 정렬되지 않은 데이터의 비율이 하이브리드 학습 방법의 성능에 어떤 영향을 미치는가?
• RQ5 하이브리드 모델은 낮은 FAh 수준에서 특히 더 나은 일반화 성능를 보이는가?

주요 결과

• 정렬 기반 시스템보다 정렬 무관 시스템이 낮은 잘못 수용 비율(FAh)에서 더 뛰어난 성능를 보이며, 정렬 기반 학습이 최적이라는 초기 가설을 뒤집는 결과를 보였다.
• 정렬된 데이터의 20%만으로도 정렬 무관 모델이 합리적인 성능를 달성했으며, 이는 데이터 효율성을 입증한다.
• 정렬된 데이터와 정렬되지 않은 데이터의 비율이 50/50인 하이브리드 모델이 가장 뛰어난 종합 성능를 보였다.
• 낮은 FAh 수준에서는 하이브리드 모델이 정렬 무관 시스템과 유사한 성능를 보였고, 높은 FAh 수준에서는 정렬 기반 시스템에 수렴하는 성능를 보였다.
• 하이브리드 모델은 독특한 행동을 보였다: 낮은 비율(1/99, 10/90, 20/80)에서는 정렬 무관 시스템 쪽으로 수렴했지만, 오직 50/50 비율일 때만 양쪽 시스템을 모두 초월하는 성능를 달성했다.
• CTC 기반 시스템은 교차 엔트로피 기반 시스템보다 더 빠르게 트리거되었으며, 디코더 점수에서 단계 함수 형태의 행동을 보였지만, 표준편차가 이는 일관된 규칙가 아님을 시사한다.

Figure 2 : Decoder scores of one positive utterance for the CE-A20 , CE-B80 , CTC-A20 , and CTC-B80 models.