[논문 리뷰] Data Augmentation for Mental Health Classification on Social Media

Gunjan Ansari, Muskan Garg외 1명|arXiv (Cornell University)|2021. 12. 19.

Mental Health via Writing인용 수 15

한 줄 요약

이 논문은 정서적 및 윤리적 제약으로 인해 레이블링이 어려운 사회미디어 내 정신건강 분류 작업에서의 데이터 부족 문제를 해결하기 위해 EDA, 조건부 BERT (AugBERT), 및 백트랜스레이션 (AugBT)을 활용한 데이터 증강 기법을 제안한다. AugBERT가 다양한 분류기와 데이터셋에서 F1 점수와 정밀도를 유의미하게 향상시키며, Dreaddit 및 SDCNL 데이터셋 모두에서 유의미한 통계적 유의성(p < 0.05)을 보였고, 저자원 정신건강 NLP 작업에 있어 데이터 증강 기법이 실질적인 해결책이 될 수 있음을 입증한다.

ABSTRACT

The mental disorder of online users is determined using social media posts. The major challenge in this domain is to avail the ethical clearance for using the user generated text on social media platforms. Academic re searchers identified the problem of insufficient and unlabeled data for mental health classification. To handle this issue, we have studied the effect of data augmentation techniques on domain specific user generated text for mental health classification. Among the existing well established data augmentation techniques, we have identified Easy Data Augmentation (EDA), conditional BERT, and Back Translation (BT) as the potential techniques for generating additional text to improve the performance of classifiers. Further, three different classifiers Random Forest (RF), Support Vector Machine (SVM) and Logistic Regression (LR) are employed for analyzing the impact of data augmentation on two publicly available social media datasets. The experiments mental results show significant improvements in classifiers performance when trained on the augmented data.

연구 동기 및 목표

• 윤리적 및 레이블링 제약로 인해 발생하는 사회미디어 내 정신건강 분류 작업에서의 데이터 부족 문제를 해결하기 위해.
• 도메인 특화 정신건강 텍스트 분류에 대해 데이터 증강 기법의 타당성과 영향을 조사하기 위해.
• 공개된 사회미디어 데이터셋에 대해 규칙 기반 및 사전학습 모델 기반 증강 방법의 효과를 평가하기 위해.
• 증강된 데이터가 다양한 모델(RF, SVM, LR)과 임bedding 기법(D2V, TF-IDF)에서 분류기 성능 향상에 기여하는지 확인하기 위해.
• 증강 기법으로 인한 성능 향상의 데이터 다양성과 통계적 유의성을 평가하기 위해.

제안 방법

• 원본 텍스트에서 정신건강 관련 문장을 생성하기 위해 세 가지 데이터 증강 기법을 적용: Easy Data Augmentation(EDA), 조건부 BERT (AugBERT), 및 백트랜스레이션 (AugBT).
• 레이블 의미를 유지하면서 텍스트 다양성을 높이기 위해 랜덤 삽입, 삭제, 교환, 대체를 활용한 규칙 기반 EDA를 수행한다.
• 세부적으로 미세조정된 BERT 모델(조건부 BERT)을 활용하여 맥락적으로 관련성 있고 레이블을 유지하는 증강 문장을 생성한다.
• 원본 텍스트를 대상 언어로 번역하고 다시 원본 언어로 번역하는 방식의 백트랜스레이션을 통해 의미를 유지한다.
• D2Vec(D2V) 및 TF-IDF 임베딩을 사용하여 원본 데이터와 증강된 데이터에 대해 세 가지 분류기(Random Forest(RF), SVM, Logistic Regression(LR))를 훈련하고 평가한다.
• 원본 텍스트와 증강된 텍스트 간의 n-gram 겹침 정도를 비교하기 위해 BLEU 점수(n=2)를 사용하여 데이터 다양성을 측정한다.

실험 결과

연구 질문

• RQ1 데이터 증강 기법이 사회미디어 내 정신건강 분류 작업에서의 데이터 부족 문제를 효과적으로 완화할 수 있는가?
• RQ2 다양한 증강 방법(EDA, AugBERT, AugBT)이 정신건강 텍스트 분류 성능 향상에 어떻게 기여하는가?
• RQ3 증강된 데이터를 사용할 때, 분류기와 임베딩 기법의 조합 중 어느 조합이 가장 높은 성능을 낼 수 있는가?
• RQ4 데이터 증강이 저자원 정신건강 NLP 환경에서 정밀도와 F1 점수 향상에 얼마나 기여하는가?
• RQ5 여러 데이터셋과 분류기에서 데이터 증강으로 인한 성능 향상이 통계적으로 유의미한가?

주요 결과

• AugBERT가 가장 높은 F1 점수 향상을 기록했으며, Logistic Regression을 사용할 경우 Dreaddit 데이터셋에서 원본 데이터 대비 5.5% 향상되었다.
• t-검정을 통한 통계적 유의성 확인 결과, AugBERT의 p-value는 Dreaddit에서 0.00033, SDCNL에서 0.09241로, 각각 5% 및 10% 수준에서 유의미한 성과를 보였다.
• AugBERT는 EDA 및 BT보다 더 높은 다양성을 가진 데이터를 생성했으며, Dreaddit와 SDCNL에서 BLEU 점수는 각각 0.82와 0.97로, n-gram 다양성이 높음을 시사했다.
• D2Vec 임베딩을 사용한 Logistic Regression에서 증강 기법 전반에 걸쳐 가장 일관된 향상이 관찰되었으며, 특히 AugBERT에서 두드러진 성과를 보였다.
• AugBERT는 F1 및 정밀도에서 EDA 및 백트랜스레이션 모두를 초월했으며, 특히 SDCNL 데이터셋에서 LR과 함께 사용했을 때 F1 점수 4.1% 향상을 달성했다.
• AugBT는 어느 데이터셋에서도 유의미한 성능 향상을 보이지 않았으며, p-value는 Dreaddit에서 0.23568, SDCNL에서 0.40338로, 이 분야에서의 활용도가 제한적임을 시사했다.