[논문 리뷰] Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification

Aleksandra Edwards, Asahi Ushio외 3명|arXiv (Cornell University)|2021. 11. 17.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 소수의 예시를 전략적으로 선택하여 GPT-2를 안내함으로써 소수의 예시 텍스트 분류에서 데이터 증강을 향상시키는 방법을 제안한다. 생성된 데이터의 품질과 분류기 성능을 향상시키기 위한 것이다. 전문가가 선택한 시드 예제를 사용할 경우, 무작위 또는 히우리스틱 기반 방법보다 훨씬 뛰어난 성능을 보이며, 특히 보호 보고서와 같은 전문 분야에서 일관된 성능 향상을 이룬다. 이는 기존 기준보다 뛰어나며 자원을 많이 소비하는 생성 작업의 효율성도 향상시킨다.

ABSTRACT

Data augmentation techniques are widely used for enhancing the performance of machine learning models by tackling class imbalance issues and data sparsity. State-of-the-art generative language models have been shown to provide significant gains across different NLP tasks. However, their applicability to data augmentation for text classification tasks in few-shot settings have not been fully explored, especially for specialised domains. In this paper, we leverage GPT-2 (Radford A et al, 2019) for generating artificial training instances in order to improve classification performance. Our aim is to analyse the impact the selection process of seed training examples have over the quality of GPT-generated samples and consequently the classifier performance. We perform experiments with several seed selection strategies that, among others, exploit class hierarchical structures and domain expert selection. Our results show that fine-tuning GPT-2 in a handful of label instances leads to consistent classification improvements and outperform competitive baselines. Finally, we show that guiding this process through domain expert selection can lead to further improvements, which opens up interesting research avenues for combining generative models and active learning.

연구 동기 및 목표

• 특히 전문가의 주석이 필요한 전문 분야에서 데이터 부족성과 클래스 불균형 문제를 해결하기 위해.
• 시드 선택 전략이 GPT-2가 생성한 훈련 인스턴스의 품질과 최종 분류기 성능에 미치는 영향을 조사하기 위해.
• 사람이 참여하는 시드 선택, 계층적 구조 활용, 명사 빈도 기반 선택 전략이 데이터 증강을 향상시키는 데 얼마나 효과적인지 평가하기 위해.
• 소수의 레이블이 부여된 예시로 GPT-2를 레이블 유지형으로 미세조정하면 전체 데이터셋으로 미세조정하는 것보다 성능이 뛰어나다는 것을 입증하기 위해.
• 저자원, 전문가 의존 도메인에서 효율적이고 고품질의 데이터 증강을 위해 활성 학습과 생성 모델 간의 상호보완적 관계를 탐색하기 위해.

제안 방법

• 각 클래스별로 소수의 레이블이 부여된 인스턴스만을 사용하여 GPT-2를 미세조정함으로써 텍스트 생성 과정에서 클래스 정보를 유지한다.
• 도메인 전문가가 대표적이고 클래스를 나타내는 훈련 예제를 선택하는 사람-중심의 시드 선택 프로세스를 구현한다.
• 데이터셋의 전문가가 생성한 계층적 구조를 기반으로 한 시드 선택 전략을 개발하여 상위 수준 클래스 분류 성능을 향상시킨다.
• 명사 빈도 기반 방법을 적용하여 고어휘 빈도를 가진 시드를 선택함으로써, 이러한 어휘가 클래스 정체성과 더 관련이 있다고 가정한다.
• 선택된 시드를 프롬프트로 사용하여 합성 훈련 데이터를 생성하고, 증강된 데이터셋으로 분류기를 재미세조정한다.
• 문장 수준 및 문단 수준 분류 작업에서 무작위 시드 선택, 히우리스틱 기반 전략, 전문가가 안내한 선택 전략 간의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 소수의 예시 텍스트 분류에서 다양한 시드 선택 전략에 따라 생성된 훈련 데이터의 품질은 어떻게 달라지나?
• RQ2 전문가 지식 기반의 시드 선택 전략이 특화된 도메인에서 무작위 또는 히우리스틱 기반 전략보다 더 뛰어난 분류기 성능을 낼 수 있는가?
• RQ3 각 클래스별 소수의 레이블이 부여된 예시로 GPT-2를 미세조정하면 전체 데이터셋으로 미세조정하는 것보다 성능이 뛰어나게 되는가?
• RQ4 자원을 많이 소비하는 생성 모델을 사용할 때, 시드 선택 전략은 데이터 증강의 효율성과 효과성에 어떻게 영향을 미치는가?
• RQ5 활성 학습과 생성 모델을 조합하면 저자원, 전문가 의존 도메인에서 데이터 증강을 얼마나 향상시킬 수 있는가?

주요 결과

• 사람이 참여하는 시드 선택 전략은 문장 수준 및 문단 수준 분류 작업에서 모든 다른 시드 선택 방법과 기준선을 크게 능가했다.
• 각 클래스별 소수의 레이블이 부여된 예시로 GPT-2를 미세조정하면 일관된 성능 향상이 이루어졌으며, 전체 데이터셋으로 미세조정한 모델보다 성능이 뛰어났다.
• 전문가가 생성한 클래스 계층 기반의 시드 선택 전략은 특히 구조적이고 주제 중심인 도메인에서 상위 수준 클래스 분류 성능을 향상시켰다.
• 명사 빈도 기반의 시드 선택 전략은 측정 가능한 이점을 보였지만 전문가가 안내한 선택 전략만큼은 아니었으며, 이는 어휘 빈도가 클래스를 나타내는 콘텐츠의 유용한 대체 지표가 될 수 있음을 시사한다.
• 무작위 시드 선택은 20 Newsgroups와 같은 일반 도메인 데이터셋에서는 충분했지만, 보호 보고서와 같은 특화된 도메인에서는 효과적이지 않았으며, 이는 도메인 의존성의 중요성을 강조한다.
• 이 연구는 전문가 지식을 텍스트 생성 파이프라인에 통합함으로써 데이터 증강의 품질과 효율성을 향상시킬 수 있음을 확인하였으며, 특히 고위험, 저자원 도메인에서 특히 유의미하다.