[논문 리뷰] Fast Cross-domain Data Augmentation through Neural Sentence Editing

Guillaume Raille, Sandra Djambazovska외 1명|arXiv (Cornell University)|2020. 03. 23.

Topic Modeling참고 문헌 17인용 수 12

한 줄 요약

이 논문은 빠르고 다중 도메인에 걸친 신경 문장 편집 모델인 Edit-Transformer를 소개한다. 이 모델은 고자원 도메인(예: Yelp)에서 다양한 실재성 있는 문장 변형을 학습하고, 이를 저자원 타겟 도메인(예: SST-2, Subj, Amazon)에 적용하여 데이터 증강을 수행한다. 이전 방법보다 훈련 및 추론 속도가 빠르며, 하류 분류 성능을 크게 향상시키며, 일부 경우에서는 합성 데이터가 실제 데이터를 능가한다.

ABSTRACT

Data augmentation promises to alleviate data scarcity. This is most important in cases where the initial data is in short supply. This is, for existing methods, also where augmenting is the most difficult, as learning the full data distribution is impossible. For natural language, sentence editing offers a solution - relying on small but meaningful changes to the original ones. Learning which changes are meaningful also requires large amounts of training data. We thus aim to learn this in a source domain where data is abundant and apply it in a different, target domain, where data is scarce - cross-domain augmentation. We create the Edit-transformer, a Transformer-based sentence editor that is significantly faster than the state of the art and also works cross-domain. We argue that, due to its structure, the Edit-transformer is better suited for cross-domain environments than its edit-based predecessors. We show this performance gap on the Yelp-Wikipedia domain pairs. Finally, we show that due to this cross-domain performance advantage, the Edit-transformer leads to meaningful performance gains in several downstream tasks.

연구 동기 및 목표

• 저자원 NLP 도메인의 데이터 부족 문제를 해결하기 위해 효과적인 다중 도메인 데이터 증강을 가능하게 한다.
• 이전 신경 편집 모델의 한계를 극복한다. 이는 속도가 느리고 다중 도메인 환경에서 실패하기 때문이다.
• 학습된 편집을 고자원 도메인(예: Yelp)에서 타겟 도메인(예: Amazon, SST-2)으로 일반화할 수 있는 방법을 개발한다. 이때 성능 저하가 최소화된다.
• 통제되고 의미 있는 문장 편집을 통해 생성된 합성 데이터를 이용해 하류 분류 성능을 향상시킨다.
• Edit-Transformer에서 생성된 합성 데이터가 특정 저자원 환경에서 동일한 양의 실제 데이터를 능가할 수 있음을 입증한다.

제안 방법

• Edit-Transformer는 신경 편집기의 순환 구조를 대체로 트랜스포머 기반의 인코더-디코더 아키텍처로 대체하여 훈련 및 추론 속도를 향상시킨다.
• 고자원 도메인의 원본 문장에서 토큰 수준의 변경(삽입, 삭제, 대체)을 예측함으로써 문장 편집을 생성하도록 학습한다.
• 다양한 문장 구조를 포함한 광범위한 문장에서 일관된 편집 정책을 학습하기 위해 대규모 고자원 도메인(Yelp 리뷰)에서 훈련한다.
• 추론 단계에서 훈련된 모델은 타겟 도메인의 문장에 학습된 편집을 적용하여 합성 훈련 샘플을 생성한다.
• 편집이 문법적 및 의미적 일관성을 유지하도록 제약되기 때문에, 레이블 의미 구조가 암묵적으로 유지된다.
• 다중 도메인 데이터 증강을 통해 평가한다: 합성 데이터를 실제 데이터와 조합하여 하류 분류기의 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 고자원 원천 도메인에서 훈련된 신경 문장 편집기가 저자원 타겟 도메인에 대해 유용한 합성 데이터를 효과적으로 생성할 수 있는가?
• RQ2 Edit-Transformer는 데이터 증강에서 이전 방법 대비 훈련 및 추론 속도에서 어떻게 비교되는가?
• RQ3 Edit-Transformer가 생성한 합성 데이터가 하류 NLP 분류 작업에서 측정 가능한 성능 향상에 기여하는가?
• RQ4 Edit-Transformer에서 생성한 합성 데이터가 저자원 환경에서 동일한 양의 실제 데이터를 능가하는가?
• RQ5 왜 Edit-Transformer는 이전의 편집 기반 모델보다 도메인 간 일반화 성능이 더 뛰어나게 되는가?

주요 결과

• Edit-Transformer는 신경 편집기 기준 대비 거의 3배 빠른 훈련 속도와 5배 빠른 추론 속도를 달성한다.
• Subj 데이터셋에서, Edit-Transformer의 합성 데이터를 사용해 각 샘플을 두 번씩 증강했을 때 정확도가 91.44%에서 93.06%로 향상되었으며, 실제 데이터를 두 배로 늘인 것보다 성능 향상이 더 크다.
• SST-2 데이터셋에서, 20% 및 50%의 데이터에 합성 샘플을 증강했을 때 정확도가 최대 1.15%p 향상되었고, 100% 실제 데이터일 경우 추가 성능 향상이 없었다.
• Amazon 리뷰 데이터셋에서, 원본 데이터의 1%만 사용하고도 각 샘플을 두 번씩 증강했을 때 정확도가 85.75%에서 86.87%로 향상되었으며, 모든 데이터 비율에서 일관된 성능 향상이 관찰되었다.
• 모델은 도메인 간 이질성에도 불구하고 다중 도메인 일반화가 뛰어나며, 합성 데이터가 다양한 도메인에서 성능 향상에 기여한다.
• Edit-Transformer의 어텐션 기반 아키텍처는 순환 기반 모델보다 더 나은 다중 도메인 전이 성능를 보이며, Yelp→SST-2 및 Yelp→Subj와 같은 도메인 쌍 간 일관된 성능을 입증한다.