[논문 리뷰] Synthetically generated text for supervised text analysis

Andrew Halterman|arXiv (Cornell University)|2023. 03. 28.

Hate Speech and Cyberbullying Detection인용 수 5

한 줄 요약

이 논문은 정치학 분야의 지도 학습 텍스트 분석에서 애너테이션 비용, 희귀 클래스 검색 문제, 저작권 제약을 해결하기 위해 대규모 언어 모델을 활용해 합성 텍스트를 생성하는 방법을 제안한다. 합성 텍스트가 인간 레이블 최소화로도 효과적인 분류기(예: 사건 탐지 및 민주주의적 성향 탐지)를 훈련시킬 수 있음을 입증하였으며, 성능은 실제 데이터에 비해 略로 떨어지지만, 적대적 하이퍼파라미터 튜닝 기법으로 이를 보완할 수 있다.

ABSTRACT

Supervised text models are a valuable tool for political scientists but present several obstacles to their use, including the expense of hand-labeling documents, the difficulty of retrieving rare relevant documents for annotation, and copyright and privacy concerns involved in sharing annotated documents. This article proposes a partial solution to these three issues, in the form of controlled generation of synthetic text with large language models. I provide a conceptual overview of text generation, guidance on when researchers should prefer different techniques for generating synthetic text, a discussion of ethics, and a simple technique for improving the quality of synthetic text. I demonstrate the usefulness of synthetic text with three applications: generating synthetic tweets describing the fighting in Ukraine, synthetic news articles describing specified political events for training an event detection system, and a multilingual corpus of populist manifesto statements for training a sentence-level populism classifier.

연구 동기 및 목표

• 정치학 분야의 지도 학습 텍스트 분석에서 인간 애너테이션의 높은 비용과 물리적 어려움을 해결하기 위해.
• 희귀 사건 클래스를 애너테이션하기 어려운 문제를 해결하기 위해 원하는 내용을 가진 합성 예제를 생성함으로써.
• 훈련 및 공유 과정에서 실제 문서를 합성 대체물로 대체함으로써 저작권 및 개인정보 장벽을 줄이기 위해.
• 합성 텍스트의 품질과 현실성 향상을 위해 새로운 적대적 하이퍼파라미터 튜닝 기법을 도입하기 위해.
• 합성 텍스트가 실질적으로 제로샷 및 패기샷 분류기를 훈련시키는 데 효과적으로 기여할 수 있음을 입증하기 위해, 즉 성능이 실제 데이터에 비해 略로 떨어지더라도.

제안 방법

• 프롬프트 또는 파라미터 파인튜닝을 통해 제어된 내용과 스타일을 가진 합성 텍스트를 생성하기 위해 대규모 언어 모델(GPT-2, GPT-3 등)을 사용하기 위해.
• 실제 텍스트와 구분하기 어려운 합성 텍스트를 생성하기 위해 하이퍼파라미터를 최적화하는 새로운 적대적 기법을 적용하기 위해.
• 두 단계 접근법을 사용하기 위해: 먼저 합성 데이터를 생성한 후, 해석 가능성과 속도를 위해 표준 분류기(bag-of-words 등)를 합성 데이터 기반으로 훈련하기 위해.
• 기존의 레이블이 부여된 데이터를 활용해 언어 모델을 프롬프트하거나 적응시켜, 합성 예제 생성을 통한 데이터 증강을 가능하게 하기 위해.
• 사람의 평가와 최종 작업 성능을 통해 합성 텍스트 품질을 평가하고 향상 방향을 안내하기 위해.
• 사실 일관성과 관련성을 확보하기 위해 프롬프트 엔지니어링과 조건부 생성을 적용하기 위해.

실험 결과

연구 질문

• RQ1 대규모 언어 모델이 생성한 합성 텍스트가 지도 학습 분류기 훈련에 실제 애너테이션 데이터를 효과적으로 대체할 수 있는가?
• RQ2 합성 텍스트는 애너테이션 비용을 얼마나 줄이고 희귀 사건 클래스 검색을 얼마나 향상시키는가?
• RQ3 실제 데이터에 비해 성능 저하를 최소화하기 위해 합성 텍스트의 품질은 어떻게 측정하고 향상시킬 수 있는가?
• RQ4 합성 텍스트는 정치적 텍스트 분석에서 제로샷 또는 패기샷 학습을 어떻게 지원할 수 있는가?
• RQ5 실제 데이터 대신 합성 텍스트를 사용할 경우 발생하는 윤리적 및 방법론적 트레이드오프는 무엇인가?

주요 결과

• 빈칸 전쟁에 대한 합성 트윗은 인간 평가자들이 실제 트윗과 구분하기 어려울 정도로 높은 현실성을 보였다.
• 합성 뉴스 기사가 사건 탐지 모델을 성공적으로 훈련시켜, 합성 데이터가 검색 및 저작권 문제를 해결하는 데 기여할 수 있음을 입증했다.
• 다국어 합성 민주주의적 성향 선언문 코퍼스를 통해 인간 레이블이 전혀 없는 상태에서 문장 수준의 민주주의적 성향 분류기를 훈련시켰고, 의미 있는 성능을 달성했다.
• 합성 데이터 기반으로 훈련된 모델의 성능은 실제 데이터 기반으로 훈련된 모델에 비해 略로 떨어지지만, 이 격차는 적대적 하이퍼파라미터 튜닝을 통해 감소시킬 수 있었다.
• 합성 텍스트의 사용으로 연구자들이 저작권 제약과 개인정보 우려를 회피하면서도 모델 훈련 및 평가를 계속할 수 있었다.
• 본 연구는 일부 민주주의적 성향 정당의 선언문에 민주주의적 언어가 거의 포함되어 있지 않다는 점을 발견하여, 선언문을 민주주의적 성향 연구의 주요 자료로 보는 데 대한 가정을 도전했다.