[논문 리뷰] Style Attuned Pre-training and Parameter Efficient Fine-tuning for Spoken Language Understanding

Jin Cao, Jun Wang외 3명|arXiv (Cornell University)|2020. 10. 09.

Topic Modeling참고 문헌 22인용 수 5

한 줄 요약

이 논문은 대화적 언어 모델링(Conversational Language Modeling, CLM)을 사용하여 도메인 특화 대화 패턴과 ASR 오류에 대한 내성적 저항성을 확보함으로써 스타일 인식 사전학습 및 파rameter 효율적인 미세조정 프레임워크를 제안한다. 공유 사전학습 인코더를 작업별로 경량 어댑터와 분리함으로써, 각 작업당 추가 파rameter의 4.4%만으로도 최신 기술(SOTA) 수준의 SLU 성능을 달성하며, 전체 모델을 재학습하지 않고도 효율적인 도메인 적응이 가능하다.

ABSTRACT

Neural models have yielded state-of-the-art results in deciphering spoken language understanding (SLU) problems; however, these models require a significant amount of domain-specific labeled examples for training, which is prohibitively expensive. While pre-trained language models like BERT have been shown to capture a massive amount of knowledge by learning from unlabeled corpora and solve SLU using fewer labeled examples for adaption, the encoding of knowledge is implicit and agnostic to downstream tasks. Such encoding results in model inefficiencies in parameter usage: an entirely new model is required for every domain. To address these challenges, we introduce a novel SLU framework, comprising a conversational language modeling (CLM) pre-training task and a light encoder architecture. The CLM pre-training enables networks to capture the representation of the language in conversation style with the presence of ASR errors. The light encoder architecture separates the shared pre-trained networks from the mappings of generally encoded knowledge to specific domains of SLU, allowing for the domain adaptation to be performed solely at the light encoder and thus increasing efficiency. With the framework, we match the performance of state-of-the-art SLU results on Alexa internal datasets and on two public ones (ATIS, SNIPS), adding only 4.4% parameters per task.

연구 동기 및 목표

• 초기 도메인 특화 SLU 모델을 재학습하는 데 필요한 높은 데이터 및 계산 자원 비용을 줄이기 위해.
• 사전학습 모델을 새로운 SLU 도메인에 적응시키는 데 있어 파rameter 효율성을 향상시키기 위해.
• 사전학습 단계에서 ASR 오류 및 대화 언어 패턴에 대한 강건성을 향상시키기 위해.
• 경량 작업별 어댑터를 통해 효과적인 도메인 적응을 가능하게 하기 위해.
• 최소한의 파rameter 업데이트로 최신 기술 성능을 유지하거나 초월하기 위해.

제안 방법

• 마스크된 언어 모델링에서 대화적 동적 패턴과 ASR 오류를 명시적으로 모델링하는 대화적 언어 모델링(CL M) 사전학습 작업을 도입한다.
• 학습 가능한 어댑터를 통해 공유 사전학습 표현과 작업별 도메인 적응을 분리하는 경량 인코더 아키텍처를 설계한다.
• 사전학습 인코더를 동결하고 각 최종 작업별로 경량 어댑터 헤드만 업데이트함으로써 파rameter 효율적인 미세조정을 적용한다.
• 작업별 적응 이전에 대규모 비라벨 대화 데이터로 모델을 훈련시켜 도메인에 관계없이 일반적인 언어 지식을 습득한다.
• 사전학습 단계에서 다중 작업 학습 설정을 사용하여 대화의 일관성과 오류에 대한 강건성을 동시에 최적화한다.
• 모델을 오직 어댑터 파ram터만을 사용하여 미세조정함으로써 각 작업당 학습 가능한 파ram터 수를 크게 줄인다.

실험 결과

연구 질문

• RQ1 대화 스타일과 ASR 오류를 모델링하는 사전학습 목표가 최종 SLU 성능을 향상시킬 수 있는가?
• RQ2 경량 어댑터를 통한 파rameter 효율적인 미세조정이 최소한의 파ram터 업데이트로 경쟁 가능한 SLU 정확도를 달성할 수 있는가?
• RQ3 공유 지식과 도메인 특화 적응을 분리함으로써 모델의 효율성과 이식 가능성은 향상되는가?
• RQ4 공개 및 내부 SLU 벤치마크에서 제안된 프레임워크는 정확도와 파ram터 효율성 측면에서 강력한 기준 모델과 비교해 어떻게 성능을 내는가?
• RQ5 전체 재학습 없이도 다양한 SLU 도메인 간에 일반화가 가능한가?

주요 결과

• 제안된 프레임워크는 내부 Alexa 데이터셋과 공개 벤치마크(ATIS 및 SNIPS)에서 모두 최신 기술 성능을 달성한다.
• 각 작업당 추가 파ram터 4.4%만 도입함으로써 SOTA 성능을 유지하며, 파ram터 효율성 측면에서 크게 향상된다.
• 대화적 언어 모델링(CL M) 사전학습 작업은 ASR 오류에 대한 강건성을 향상시키고, 대화 패턴의 모델링을 개선한다.
• 경량 인코더 아키텍처는 기존 모델의 재학습 없이도 최소한의 계산 오버헤드로 효과적인 도메인 적응을 가능하게 한다.
• 어댑터를 통한 파ram터 효율적인 미세조정은 각 작업당 학습 가능한 파ram터 수를 크게 줄이면서도 높은 성능을 유지한다.
• 최소한의 작업별 적응으로도 다양한 SLU 도메인 간에 강력한 이식 가능성을 보여준다.