[논문 리뷰] Weakly Supervised Data Augmentation Through Prompting for Dialogue Understanding

Maximillian Chen, Alexandros Papangelis외 6명|arXiv (Cornell University)|2022. 10. 25.

Speech and dialogue systems인용 수 7

한 줄 요약

이 논문은 소수의 few-shot 프롬프팅을 활용해 고품질의 대화 발화를 생성하는 약한 지도 학습 기반 데이터 증강 프레임워크인 WeakDAP를 제안한다. 이는 저자원 대화 이해 작업에 특화되어 있으며, 엔트로피 기반 불확실성 점수를 사용해 합성 데이터를 반복적으로 필터링함으로써 기존 학습 데이터의 10%만으로도 성능을 향상시킨다. WeakDAP는 DailyDialog에서 전체 샘플을 사용하는 최신 기술보다 뛰어난 성능을 보이며, FBTOD에서의 다국어 의도 탐지 작업에서도 강력한 성과를 거두었다.

ABSTRACT

Dialogue understanding tasks often necessitate abundant annotated data to achieve good performance and that presents challenges in low-resource settings. To alleviate this barrier, we explore few-shot data augmentation for dialogue understanding by prompting large pre-trained language models and present a novel approach that iterates on augmentation quality by applying weakly-supervised filters. We evaluate our methods on the emotion and act classification tasks in DailyDialog and the intent classification task in Facebook Multilingual Task-Oriented Dialogue. Models fine-tuned on our augmented data mixed with few-shot ground truth data are able to approach or surpass existing state-of-the-art performance on both datasets. For DailyDialog specifically, using 10% of the ground truth data we outperform the current state-of-the-art model which uses 100% of the data.

연구 동기 및 목표

• annotation 데이터가 부족하고 확보하기 어려운 저자원 대화 이해 과제에 대비하기 위해.
• 사전 훈련된 언어 모델을 활용해 합성 대화 턴을 생성함으로써 대화 분류 과제의 데이터 효율성을 향상시키기 위해.
• 약한 지도 학습을 통해 엔트로피 기반 필터링을 적용해 저품질 또는 분포 외 샘플을 제거함으로써 생성된 대화 데이터의 품질을 향상시키기 위해.
• 소수의 프롬프팅과 반복적 필터링을 통해 기존 학습 데이터의 일부분만으로도 최신 기술 수준의 성능을 달성할 수 있는지 입증하기 위해.
• 단일 언어(DailyDialog) 및 다국어(FBTOD) 대화 이해 과제 모두에서 방법의 유효성을 검증하기 위해.

제안 방법

• 대화 맥락을 조건으로 삼아 대화 턴을 생성하기 위해 대규모 사전 훈련된 언어 모델(GPT-J 등)을 사용한 프리픽스 프롬프팅을 적용한다.
• 세 가지 증강 전략을 사용한다: 대화 궤적 증강(CTA), 전 턴 증강(ATA), 마지막 턴 증강(LTA). 각 전략은 생성에 사용되는 맥락의 방식이 다르다.
• 엔트로피 기반 약한 지도 학습 필터를 적용하여 불확실하고 분류가 어려운 예측을 식별하고 유지함으로써 모델의 일반화 능력을 향상시키는 것을 목표로 한다.
• 필터는 반복적으로 작동한다: 합성 데이터를 생성하고, 이를 분류한 후, 높은 불확실성(높은 엔트로피)을 가진 샘플만 다음 미세조정에 사용한다.
• 프레임워크는 DailyDialog의 정서 및 대화 액션 분류, FBTOD의 의도 분류에 적용되며, XLMRoBERTa를 사용해 미세조정한다.
• 다국어 증강은 영어로 프롬프팅하여 스페인어 학습 예측을 생성함으로써 달성되며, 다국어 모델을 활용한 맥락 기반 학습을 통해 이루어진다.

실험 결과

연구 질문

• RQ1 대규모 언어 모델의 소수 프롬프팅이 하위 대화 이해 성능 향상에 기여하는 고품질의 대화 발화를 생성할 수 있는가?
• RQ2 비용이 많이 들지 않는 인간의 레이블링 없이도 엔트로피 기반 필터링을 통한 약한 지도 학습이 합성 대화 데이터의 품질을 효과적으로 향상시킬 수 있는가?
• RQ3 실제 데이터의 소수(예: 10%)와 합성 데이터를 조합했을 때, 전체 데이터를 사용한 훈련 성능과 비교해 유사하거나 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 제안된 방법이 다양한 대화 이해 과제와 언어, 특히 다국어 환경에서도 일반화 가능한가?
• RQ5 불확실하고 학습이 어려운 예측의 포함 여부가 저자원 환경에서 모델의 일반화 능력과 내구성에 어떤 영향을 미치는가?

주요 결과

• DailyDialog에서 원본 학습 데이터의 10%만을 사용하여도 WeakDAP는 정서 및 대화 액션 분류 과제에서 현재 전체 샘플을 사용하는 최신 기술 수준의 모델를 초월한다.
• WeakDAP로 증강된 데이터로 미세조정한 모델는 원본 데이터의 100%를 사용해 훈련한 모델와 동등하거나 더 뛰어난 성능을 달성한다.
• FBTOD 데이터셋에서 영어 프롬프팅을 사용해 스페인어 학습 예측을 생성하는 다국어 증강이 의도 탐지 성능을 향상시켰으며, 특히 낮은 데이터 제약 조건(1%, 5%, 10%)에서 두드러진 성과를 보였다.
• 엔트로피 기반 필터링은 어려운 학습 예측을 효과적으로 식별하고 유지하며, 반복적 훈련에서 모델의 일반화 능력 향상에 기여했다.
• 이 방법은 다양한 대화 이해 과제에 대해 뛰어난 내구성을 보이며, 최소한의 지도 학습과 계산 비용으로도 효과적으로 작동한다.
• 제거 실험(ablation study) 결과, 프롬프팅과 필터링 모두가 필수적임을 확인하였으며, 둘 중 하나를 제거하면 성능이 크게 떨어졌다.