[논문 리뷰] Low-Resource Domain Adaptation for Compositional Task-Oriented Semantic Parsing

Xilun Chen, Asish Ghoshal외 3명|arXiv (Cornell University)|2020. 10. 07.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 BART 기반 사전 훈련과 최적화 기반 메타학습(Reptile)을 사용하여 저자원 도메인 적응 방법을 제안하며, 감독 학습 기반 보다 1/10의 훈련 데이터로도 최신 기술 수준의 성능을 달성한다. 제안된 방법은 8개 도메인에서 18만 건 이상의 샘플을 포함하는 새로운 다중 도메인 데이터셋(TOPv2)에서 기존 방법들을 뛰어넘는 성능을 보인다.

ABSTRACT

Task-oriented semantic parsing is a critical component of virtual assistants, which is responsible for understanding the user's intents (set reminder, play music, etc.). Recent advances in deep learning have enabled several approaches to successfully parse more complex queries (Gupta et al., 2018; Rongali et al.,2020), but these models require a large amount of annotated training data to parse queries on new domains (e.g. reminder, music). In this paper, we focus on adapting task-oriented semantic parsers to low-resource domains, and propose a novel method that outperforms a supervised neural model at a 10-fold data reduction. In particular, we identify two fundamental factors for low-resource domain adaptation: better representation learning and better training techniques. Our representation learning uses BART (Lewis et al., 2019) to initialize our model which outperforms encoder-only pre-trained representations used in previous work. Furthermore, we train with optimization-based meta-learning (Finn et al., 2017) to improve generalization to low-resource domains. This approach significantly outperforms all baseline methods in the experiments on a newly collected multi-domain task-oriented semantic parsing dataset (TOPv2), which we release to the public.

연구 동기 및 목표

• 최소한의 주석 데이터로 저자원 도메인에서 효과적인 작업 지향 의미 분석기를 훈련하는 데 도전한다.
• 대표 표현 학습 및 훈련 기법을 향상시켜 저자원 환경에서의 일반화 성능을 향상시킨다.
• 훈련 데이터의 1/10만으로도 감독 모델을 능가하는 방법을 개발한다.
• 저자원 도메인 적응을 평가하기 위해 대규모 다중 도메인 데이터셋(TOPv2)을 수집하고 공개한다.

제안 방법

• 의미 분석기의 인코더와 디코더를 모두 초기화하기 위해 인코더-디코더 구조의 사전 훈련된 트랜스포머인 BART를 사용하여, RoBERTa와 같은 인코더 전용 모델보다 더 나은 표현 학습을 향상시킨다.
• 새로운 타겟 도메인에 대해 소수의 샘플로도 잘 일반화할 수 있도록 모델 초기화를 학습하기 위해 일阶 최적화 기반 메타학습 알고리즘인 Reptile를 사용한다.
• 학습률 웜업과 조기 정지 기법을 사용한 표준 피니튜닝 스케줄을 사용해 소스 도메인에서 모델을 훈련시킨다.
• 5개 샘플씩의 지원 세트와 배치 크기 32를 사용하여 메타학습을 수행하며, 내부 및 외부 학습률은 각각 5×10⁻⁵로 설정한다.
• 희귀어 또는 OOV 토큰을 처리하기 위해 복사 포인터 메커니즘을 갖춘 시퀀스 투 시퀀스 아키텍처를 사용한다.
• 의도 또는 슬롯당 최대 25개의 레이블된 샘플을 사용해 타겟 도메인에서 메타학습된 모델을 피니튜닝한다.

실험 결과

연구 질문

• RQ1 BART와 같은 사전 훈련된 시퀀스 투 시퀀스 모델이 인코더 전용 모델과 비교해 저자원 환경에서 조합적 작업 지향 의미 분석의 저자원 도메인 적응에 성능 향상을 이룰 수 있는가?
• RQ2 최적화 기반 메타학습이 의미 분석에서 저자원 타겟 도메인으로의 일반화 성능 향상에 기여하는가?
• RQ3 제안된 방법이 훈련 데이터의 1/10만으로도 감독 기반 기준 모델보다 우수한 성능을 내는가?
• RQ4 제안된 방법이 의도 또는 슬롯당 최소 25개의 훈련 샘플로도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 모든 기준 모델보다 저자원 환경에서 뛰어난 성능을 보이며, 특히 의도 또는 슬롯당 25개 샘플만으로도 뛰어난 성능을 내는 데 성공했다.
• RoBERTa 및 기타 인코더 전용 모델보다 BART를 초기화에 사용함으로써 저자원 환경에서 성능 향상이 뚜렷하게 향상되었다.
• Reptile를 사용한 메타학습은 레이블이 적은 데이터로도 새로운 도메인에 더 빠르고 효과적으로 적응할 수 있도록 했다.
• 감독 기반 최신 기술 수준의 LSTM 기반 포인터 생성 네트워크와 비교해도, 훈련 데이터의 1/10만으로도 유사한 성능을 달성했다.
• 8개 도메인에서 18만 건 이상의 주석 샘플을 포함하는 TOPv2 데이터셋은 저자원 적응 방법의 강력한 평가를 가능하게 한다.