[논문 리뷰] Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding

Di Wu, Yiren Chen외 2명|arXiv (Cornell University)|2021. 04. 13.

Topic Modeling참고 문헌 26인용 수 4

한 줄 요약

이 논문은 청소된 데이터 훈련과 실제 노이즈 있는 추론 사이의 격차를 해소하기 위해 도메인 적응 기반의 RoSLU를 제안한다. 이는 청소된 샘플과 노이즈 있는 샘플을 함께 공유 벡터 공간에 매apping하고, 오류를 수정하기 위한 디노이징 생성기 모델을 사용한다. RoSLU는 노이즈 있는 추론 조건 하에서 Snips 데이터셋에서 기준 모델 대비 +3.8 F1 포인트 향상하여 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Spoken language understanding (SLU) system usually consists of various pipeline components, where each component heavily relies on the results of its upstream ones. For example, Intent detection (ID), and slot filling (SF) require its upstream automatic speech recognition (ASR) to transform the voice into text. In this case, the upstream perturbations, e.g. ASR errors, environmental noise and careless user speaking, will propagate to the ID and SF models, thus deteriorating the system performance. Therefore, the well-performing SF and ID models are expected to be noise resistant to some extent. However, existing models are trained on clean data, which causes a extit{gap between clean data training and real-world inference.} To bridge the gap, we propose a method from the perspective of domain adaptation, by which both high- and low-quality samples are embedding into similar vector space. Meanwhile, we design a denoising generation model to reduce the impact of the low-quality samples. Experiments on the widely-used dataset, i.e. Snips, and large scale in-house dataset (10 million training examples) demonstrate that this method not only outperforms the baseline models on real-world (noisy) corpus but also enhances the robustness, that is, it produces high-quality results under a noisy environment. The source code will be released.

연구 동기 및 목표

• 산업적 SLU 시스템에서 청소된 데이터 훈련과 실제 노이즈 있는 추론 사이의 분포 격차를 해결하기 위해.
• ASR 오류, 환경 노이즈, 부주의한 발화와 같은 실제 환경의 교란 요소에 대한 모델 강인성을 향상시키기 위해.
• 기존 모델이 다루지 못하는 실제 입력에서 흔히 발생하는 슬롯 내 오류를 보완할 수 있는 슬롯 채우기 모델을 개발하기 위해.
• 청소된 데이터에서 높은 성능를 유지하면서도 노이즈 있는 데이터에서의 성능를 크게 향상시킬 수 있는 방법을 개발하기 위해.
• 도메인 적응과 디노이징 생성이 실제 추론 격차를 메우는 데 효과적인지 입증하기 위해.

제안 방법

• 이 방법은 고품질의 청소된 샘플과 저품질의 노이즈 있는 샘플을 동일한 벡터 공간으로 매핑하기 위해 도메인 적응을 활용한다.
• 디노이징 생성기 모델은 노이즈 있는 입력 시퀀스로부터 정확한 슬롯 레이블을 재구성하도록 훈련되어 입력 교란에 대한 강인성을 향상시킨다.
• 모델은 청소된 데이터와 합성된 노이즈 있는 데이터의 조합을 기반으로 엔드 투 엔드로 훈련되어 실제 노이즈 있는 입력에 일반화할 수 있도록 한다.
• 모델의 일반화 성능 향상을 위해 분포 이탈 상황에서도 안정성을 확보하기 위해 적대적 훈련 원리를 적용한다.
• 프레임워크는 청소된 데이터에서의 성능를 유지하면서도 노이즈 있는 테스트 세트에서의 강인성을 크게 향상시키도록 설계되어 있다.
• 모델이 의미적으로 유사하지만 노이즈 있는 슬롯 스트링(예: 'rock stones' → 'the Rolling Stones')을 정확한 형태로 매핑할 수 있는 능력 덕분에 슬롯 내 오류 수정이 가능해진다.

실험 결과

연구 질문

• RQ1 청소된 데이터와 노이즈 있는 데이터를 함께 훈련한 모델이 청소된 데이터 성능을 희생시키지 않고도 실제 환경의 SLU 추론에서 더 강인한 성능를 보일 수 있는가?
• RQ2 디노이징 생성기는 ASR 오류나 발화 변형으로 인한 슬롯 내 오류를 어느 정도까지 수정할 수 있는가?
• RQ3 청소된 샘플과 노이즈 있는 샘플 간의 도메인 적응이 SLU 시스템의 분포 격차를 효과적으로 메울 수 있는가?
• RQ4 노이즈 있는 테스트 세트와 청소된 테스트 세트에서의 F1 점수 측면에서 제안된 방법은 강력한 기준 모델들과 비교해 어떻게 성능를 내는가?
• RQ5 수백만 개의 예제와 복잡한 노이즈 패tern을 가진 대규모 산업용 데이터셋에서도 모델이 일반화 가능한가?

주요 결과

• Snips 데이터셋에서 RoSLU는 노이즈 있는 추론 조건 하에서 최고의 기준 모델 대비 +3.8 F1 포인트 향상하여 강력한 강인성을 입증했다.
• 1,000만 개의 훈련 예제를 가진 내부 데이터셋에서 RoSLU는 전반적인(노이즈 있는) 훈련 조건에서도 기준 모델 대비 +0.64 F1 포인트 향상했으며, 이는 높은 기준 점수에도 불구하고 뚜렷한 성능 향상을 의미한다.
• 청소된 추론 조건 하에서 RoSLU는 SOTA 모델과 유사한 성능를 유지했으며, Snips 데이터셋에서는 F1 점수 91.24, 내부 데이터셋에서는 96.01을 기록했다.
• 수동 평가 결과, 샘플링된 177개의 슬롯 내 오류 중 59개가 성공적으로 수정되었으며, 이는 모델이 실제 환경의 노이즈를 처리할 수 있는 능력을 확인한 것이다.
• 노이즈 있는 데이터를 훈련에 포함시키는 효과는 Snips와 같이 작은 데이터셋에서는 더욱 두드러지며, 이는 노이즈가 정규화 역할을 한다는 것을 시사한다.
• 결과적으로 도메인 적응과 디노이징 생성이 함께 작용하여 일반화 성능를 향상시키며, 특히 노이즈 있는 실제 환경에서의 성능 향상에 기여한다.