[논문 리뷰] Unsupervised Transfer Learning for Spoken Language Understanding in Intelligent Agents

Aditya Siddhant, Anuj Goyal외 1명|arXiv (Cornell University)|2018. 11. 13.

Topic Modeling참고 문헌 21인용 수 4

한 줄 요약

이 논문은 대규모 비라벨링 ASR 전사본을 활용하여 의도 분류 및 엔티티 태깅 성능을 향상시키는 경량 비지도 사전학습 방법인 ELMo-Light(ELMoL)을 제안한다. 비지도 전이 학습이 초기 학습보다 우수하고, 특히 자원이 제한된 환경에서 기존의 지도 학습 전이 방식을 뛰어넘는 것으로 입증되었다—단지 1,000개의 도메인 내 샘플로 10~15배 더 많은 라벨 데이터(10,000~15,000개)를 사용해 학습한 성능을 달성한다.

ABSTRACT

User interaction with voice-powered agents generates large amounts of unlabeled utterances. In this paper, we explore techniques to efficiently transfer the knowledge from these unlabeled utterances to improve model performance on Spoken Language Understanding (SLU) tasks. We use Embeddings from Language Model (ELMo) to take advantage of unlabeled data by learning contextualized word representations. Additionally, we propose ELMo-Light (ELMoL), a faster and simpler unsupervised pre-training method for SLU. Our findings suggest unsupervised pre-training on a large corpora of unlabeled utterances leads to significantly better SLU performance compared to training from scratch and it can even outperform conventional supervised transfer. Additionally, we show that the gains from unsupervised transfer techniques can be further improved by supervised transfer. The improvements are more pronounced in low resource settings and when using only 1000 labeled in-domain samples, our techniques match the performance of training from scratch on 10-15x more labeled in-domain data.

연구 동기 및 목표

• 대규모 비라벨링 ASR 생성 음성 문장을 활용하여 지도 학습 기반 SLU 학습의 높은 비용과 확장성 한계를 해결하고자 한다.
• 실시간 및 자원이 제한된 SLU 시스템에 구현하기 위해 ELMo보다 더 빠르고 가벼운 대안을 개발하고자 한다.
• 공개 벤치마크 및 실제 상용 SLU 데이터셋에서 비지도 전이 학습의 효과성을 평가하고자 한다.
• 자원이 제한된 SLU 작업에서 비지도 및 지도 전이 학습의 융합 이점이 있는지 조사하고자 한다.
• 라벨 데이터가 부족할 경우 비지도 사전학습이 지도 전이 학습을 능가할 수 있는지 입증하고자 한다.

제안 방법

• 대규모 비라벨링 ASR 전사본에서 학습된 ELMo 스타일의 문맥 기반 단어 임베딩을 활용하여 SLU에 적합한 풍부한 언어 표현을 추출한다.
• ELMo-Light(ELMoL)은 파rameter 수를 줄여(140M 대비 37M) 메모리 사용량을 낮추고, 더 빠르고 작아서 ELMo의 단순화된, 더 빠르고 가벼운 대안으로 제안된다.
• 도메인에 맞지 않는 비라벨링 데이터에서 비지도 사전학습을 수행한 후, 소량의 도메인 내 라벨 데이터로 미세조정을 수행한다.
• 학습 전략으로 점진적 고정 해제(guf), 특성 기반 미세조정(discr), 삼각형 학습률(tlr)을 사용하여 미세조정 중 치명적인 기억 상실을 방지한다.
• 라벨된 도메인 내 데이터로 사전학습 모델을 미세조정하여 지도 전이를 적용함으로써 비지도 및 지도 지식 전이를 융합한다.
• 프레임워크는 공개 벤치마크(ATIS, SNIPS)와 내부 상용 데이터셋을 대상으로 다양한 자원 수준에서 평가된다.

실험 결과

연구 질문

• RQ1 대규모 비라벨링 ASR 전사본에서 비지도 사전학습을 수행하면, 초깃값 학습 대비 SLU 성능 향상이著명한가?
• RQ2 ELMo-Light(ELMoL)은 ELMo와 유사한 성능을 달성하면서도 훨씬 더 빠르고 메모리 효율적인가?
• RQ3 비지도 및 지도 전이 기법 간의 상호작용은 어떻게 되며, 이들의 조합이 성능 향상에 누적 효과를 가지는가?
• RQ4 비지도 전이 학습이 자원이 제한된 SLU 환경에서 대규모 라벨 데이터셋에 대한 의존도를 얼마나 줄일 수 있는가?
• RQ5 라벨 데이터가 제한적일 경우 비지도 전이 학습이 기존의 지도 전이 학습을 능가할 수 있는가?

주요 결과

• ELMo-Light(ELMoL)은 내부 도메인 A와 B에서 각각 36.86%, 28.42%의 SER 스코어를 기록하여 FastText를 능가하고 ELMo의 36.58% 및 27.95% 성능에 근접한다.
• ATIS 데이터셋에서 ELMoL은 13.38%의 SER을 기록하여 FastText(15.01%)를 능가하고 ELMo(12.65%)에 근접했으며, SNIPS에서는 15.62%의 SER을 기록하여 기존 SOTA(16.00%)를 초월했다.
• 도메인 내 라벨 데이터가 단지 1,000개일 경우에도 ELMoL 기반 모델은 10,000~15,000개의 라벨 데이터로 초깃값 학습한 성능을 달성한다.
• 비지도 전이(UT)와 지도 전이(ST)를 융합한 UT+ST는 누적 성능 향상을 보였다: 도메인 A에서 ELMo+ST는 UT만 사용했을 때의 36.58%에서 35.86%로 향상되었다.
• ELMoL은 추론 시 ELMo 대비 1.6배 빠르고 학습 시 1.8배 빠르며, 메모리 사용량은 4배 적다(37M 대비 140M 파라미터).
• 제거 분석 결과, 점진적 고정 해제 및 특성 기반 미세조정과 같은 학습 기법이 다양한 데이터셋에서 ELMoL 성능을 일관되게 향상시킨다.