[논문 리뷰] Data Augmentation with Atomic Templates for Spoken Language Understanding

Zijian Zhao, Su Zhu외 1명|arXiv (Cornell University)|2019. 08. 28.

Topic Modeling참고 문헌 20인용 수 8

한 줄 요약

이 논문은 인간의 노력 최소화로 다양한 자연스러운 발화를 대화행위 삼중항에서 생성하기 위해 원자적 템플릿을 사용하는 말하기 언어 이해(SLU)를 위한 데이터 증강 방법을 제안한다. 대화행위-슬롯-값 삼중항의 세부적인 자연어 설명인 원자적 예시로부터 문장을 생성하는 인코더-디코더 모델을 활용함으로써, DSTC2 및 DSTC3에서 뚜렷한 성능 향상을 달성하였으며, 강력한 베이스라인을 능가하고 인간이 설계한 템플릿에 가까운 성능을 내며도 훨씬 낮은 주석 비용을 요구한다.

ABSTRACT

Spoken Language Understanding (SLU) converts user utterances into structured semantic representations. Data sparsity is one of the main obstacles of SLU due to the high cost of human annotation, especially when domain changes or a new domain comes. In this work, we propose a data augmentation method with atomic templates for SLU, which involves minimum human efforts. The atomic templates produce exemplars for fine-grained constituents of semantic representations. We propose an encoder-decoder model to generate the whole utterance from atomic exemplars. Moreover, the generator could be transferred from source domains to help a new domain which has little data. Experimental results show that our method achieves significant improvements on DSTC 2\&3 dataset which is a domain adaptation setting of SLU.

연구 동기 및 목표

• 말하기 언어 이해(SLU)에서 데이터 부족 문제, 특히 자료가 제한된 자원이 적은 도메인이나 새로운 도메인에서의 문제를 해결하기 위해.
• 대화행위-슬롯-값 삼중항을 자연어로 기술하는 원자적 템플릿을 사용하여 데이터 증강에서 인간 주석의 부담을 줄이기 위해.
• 소량의 데이터로도 효과적인 도메인 적응을 가능하게 하기 위해, 원천 도메인에서 훈련된 문장 생성기를 목표 도메인으로 전이하기 위해.
• SLU 모델을 위한 증강된 훈련 데이터에서 표현 다양성과 의미 다양성을 향상시키기 위해.

제안 방법

• 원자적 템플릿은 문장 수준가 아니라 어휘 수준에서 생성되어, 개별 대화행위-슬롯-값 삼중항에 대한 자연스러운 언어 예시를 최소한의 인간 노력으로 생성한다.
• 일련의 원자적 예시로부터 전체 발화를 생성하기 위해 순서에서 순서로의 인코더-디코더 모델을 훈련하여, p(x|y)를 모델링한다. 여기서 x는 발화이고 y는 대화행위이다.
• 문장 생성기는 원천 도메인(DSTC2)에서 미리 훈련하고, 목표 도메인(DSTC3)에서 소량의 시드 데이터로 미세조정하여 효과적인 도메인 적응을 가능하게 한다.
• 문자열의 대화행위를 원자적 예시로 매핑하여, 언어 모델이 미리 보지 않은 의미 조합에 일반화할 수 있도록 한다.
• 원자적 예시를 다양한 방식으로 재구성함으로써 표현 다양성을 향상시키기 위해 생성기를 훈련함으로써, 자연스럽고 다양한 발화를 생성하도록 한다.
• 제거 실험을 통해 사전 훈련, 미세조정, 문장 생성기의 기여도를 평가하였으며, 성능 향상에 있어 생성기의 핵심적 역할을 입증하였다.

실험 결과

연구 질문

• RQ1 원자적 템플릿은 SLU 데이터 증강에서 인간 주석 비용을 크게 줄일 수 있는가? 이는 성능 유지 또는 향상과 함께 가능한가?
• RQ2 목표 도메인에서 레이블이 제한된 경우, 제안된 방법이 도메인 적응에 얼마나 효과적인가?
• RQ3 원자적 예시에서 발화를 생성하는 방식이, 단순하거나 템플릿 기반의 베이스라인 대비 의미 다양성과 표현 다양성 향상에 얼마나 기여하는가?
• RQ4 사전 훈련된 문장 생성기를 포함할 경우, 자원이 적은 환경에서 생성된 발화의 품질과 일반화 능력은 어떻게 향상되는가?
• RQ5 매우 적은 인간 노력으로 인간이 설계한 템플릿 수준의 성능에 도달할 수 있는가?

주요 결과

• 제안된 원자적 템플릿 기반의 데이터 증강 방법은 DSTC3 평가 세트에서 F1 스코어 88.6을 달성하여, 베이스라인 제로샷 모델(68.3)과 단순 증강(82.9)을 크게 앞서나갔다.
• 시드 요약 및 조합 전략을 조합한 결과가 가장 뛰어난 성능(88.6)을 보였으며, 다양한 대화행위 생성의 효과성을 입증했다.
• 인간이 설계한 문장 수준의 템플릿(90.4 F1)에 가까운 성능을 달성하면서도 훨씬 적은 인간 노력으로 수행되었으며, 실용적 효율성이 뛰어나다는 것을 보여주었다.
• 제거 실험 결과, 문장 생성기를 제거하면 성능이 14.6점 감소(74.0)하여, 자연스러운 발화 생성에 있어 생성기의 핵심적 역할을 입증하였다.
• 원천 도메인(DSTC2)에서의 사전 훈련과 목표 도메인(DSTC3)에서의 미세조정이 성능 향상에 크게 기여하였으며, 각각 제거할 경우 성능이 각각 4.3점, 4.1점 감소하였다.
• 시드 샘플이 전혀 없을 경우에도 제로샷 베이스라인을 능가하는 성능을 보였으며, 이는 새로운 도메인에서 제로샷 또는 소수의 샘플로도 SLU가 가능한 능력을 보여준다.