[논문 리뷰] Selective Text Augmentation with Word Roles for Low-Resource Text Classification

Biyang Guo, Songqiao Han외 1명|arXiv (Cornell University)|2022. 09. 04.

Text and Document Classification Technologies인용 수 6

한 줄 요약

이 논문은 저자원 텍스트 분류를 위한 새로운 데이터 증강 방법인 선택적 텍스트 증강(Selective Text Augmentation, STA)을 제안한다. STA는 통계적 상관관계와 텍스트 카테고리에 대한 의미적 유사도를 바탕으로 단어를 네 가지 역할—골드, 벤처, 보너스, 잡다—로 분류한다. STA는 각 단어의 역할에 따라 텍스트 편집 작업을 선택적으로 적용함으로써 핵심 의미를 유지하면서도 다양하고 고품질의 훈련 샘플을 생성하며, 저자원 벤치마크에서 최대 5%의 정확도 향상을 이끌어내고, 교차 데이터셋 일반화에서 평균 4% 이상의 향상을 기록한다.

ABSTRACT

Data augmentation techniques are widely used in text classification tasks to improve the performance of classifiers, especially in low-resource scenarios. Most previous methods conduct text augmentation without considering the different functionalities of the words in the text, which may generate unsatisfactory samples. Different words may play different roles in text classification, which inspires us to strategically select the proper roles for text augmentation. In this work, we first identify the relationships between the words in a text and the text category from the perspectives of statistical correlation and semantic similarity and then utilize them to divide the words into four roles -- Gold, Venture, Bonus, and Trivial words, which have different functionalities for text classification. Based on these word roles, we present a new augmentation technique called STA (Selective Text Augmentation) where different text-editing operations are selectively applied to words with specific roles. STA can generate diverse and relatively clean samples, while preserving the original core semantics, and is also quite simple to implement. Extensive experiments on 5 benchmark low-resource text classification datasets illustrate that augmented samples produced by STA successfully boost the performance of classification models which significantly outperforms previous non-selective methods, including two large language model-based techniques. Cross-dataset experiments further indicate that STA can help the classifiers generalize better to other datasets than previous methods.

연구 동기 및 목표

• 비선택적 텍스트 증강의 한계를 해결하기 위해, 레이블을 나타내는 단어를 왜곡하거나 노이즈를 증폭시킬 수 있는 문제를 해결한다.
• 통계적 상관관계와 의미적 유사도라는 두 가지 상보적인 관점에서 텍스트 분류에서 단어의 기능적 역할을 식별하고 체계화한다.
• 단어의 역할에 따라 다른 편집 작업을 적용하는 선택적 증강 프레임워크를 개발하여 의미를 유지하면서도 다양성을 향상시킨다.
• 특히 데이터 분포가 변화하는 교차 데이터셋 환경에서 모델의 일반화 능력을 향상시킨다.
• 다양한 저자원 텍스트 분류 벤치마크에서 비선택적 증강 기반선보다 뛰어난 성능을 보이는 단순하면서도 효과적인 방법을 제공한다.

제안 방법

• 각 텍스트의 단어는 통계적 공출현 빈도와 의미적 임베딩 유사도를 기반으로 네 가지 역할—골드(높은 상관관계, 높은 유사도), 벤처(높은 상관관계, 낮은 유사도), 보너스(낮은 상관관계, 높은 유사도), 잡다(낮은 상관관계, 낮은 유사도)—로 분류된다.
• 통계적 상관관계는 단어 존재 여부와 카테고리 레이블 간의 피어슨-비선형 상관계수로 측정된다.
• 의미적 유사도는 문장-BERT 임베딩을 사용하여 단어 표현과 카테고리 설명 간의 유사도를 계산한다.
• STA는 각 단어의 역할에 따라 다른 텍스트 편집 작업—치환, 삽입, 삭제—을 적용한다: 골드 단어는 최소한의 수정을 받고, 잡다 단어는 더 자주 수정되며, 벤처/보너스 단어는 다양성을 향상시키기 위해 선택적으로 편집된다.
• 데이터셋 특성에 따라 전역 전략 또는 국소 전략을 사용하여 단어 선택을 수행하며, 전역 전략은 고빈도의 역할 기반 패턴을 우선시한다.
• 이 방법은 경량이며 기존 증강 파ipelines와 호환되어 표준 NLP 모델에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 단어와 카테고리 간의 통계적 상관관계와 의미적 유사도는 어떻게 상호작용하며, 이를 바탕으로 텍스트 분류에서 의미 있는 단어 역할을 정의할 수 있는가?
• RQ2 단어의 역할에 기반한 선택적 텍스트 증강은 비선택적 방법에 비해 저자원 텍스트 분류에서 모델 성능을 향상시킬 수 있는가?
• RQ3 증강 작업을 선택적으로 적용할 때 핵심 의미를 얼마나 잘 유지하면서도 훈련 데이터의 다양성을 높일 수 있는가?
• RQ4 제안된 STA 방법은 다양한 데이터셋 간에서 일반화되는 정도는 어떠한가? 특히 훈련 및 테스트 데이터 분포가 다를 경우 어떻게 되는가?
• RQ5 통계적 상관관계와 의미적 유사도 중 어느 것이 증강을 위한 효과적인 단어 역할을 결정하는 데 더 큰 기여를 하는가?

주요 결과

• 50개의 훈련 샘플만 존재할 경우 STA는 저자원 텍스트 분류 작업에서 평균적으로 약 5%의 정확도 향상을 기록하며, 100개 샘플 사용 시에는 2.6% 향상된다.
• 세 가지 벤치마크 데이터셋에서 교차 데이터셋 일반화 작업을 수행한 평균적으로 STA는 EDA-w2v와 같은 비선택적 기반선보다 4% 이상 높은 성능을 기록한다.
• 제거 실험 결과, 역할 식별 과정에서 통계적 상관관계 또는 의미적 유사도를 제거할 경우 성능 저하가 발생하며, 특히 의미적 유사도가 효과적인 단어 역할 분류에 더 큰 기여를 한다.
• 교차 데이터셋 일반화에서 STA는 평균 정확도 62.12%를 기록한 반면, EDA-w2v는 58.04%를 기록하여, 예측 불가능한 데이터 분포에 대한 일반화 능력이 뛰어나다는 것을 입증한다.
• 특히 잡다 및 보너스 단어를 선택적으로 수정함으로써 훈련 데이터의 노이즈를 효과적으로 제거하면서도 골드 단어의 의미적 통합성을 유지한다.
• 결과적으로 단어 역할 인식 기반 증강이 비선택적 방법보다 더 효과적임을 확인하였으며, 이는 레이블 무결성을 유지하면서도 데이터 다양성을 증가시키기 때문이다.