[논문 리뷰] Semi-Supervised Models via Data Augmentationfor Classifying Interactive Affective Responses

Jiaao Chen, Yuwei Wu외 1명|arXiv (Cornell University)|2020. 04. 23.

Topic Modeling참고 문헌 19인용 수 11

한 줄 요약

이 논문은 저자원 환경에서 상호작용적 정서 반응—예를 들어 정서적 공개 및 사회적 지지—의 분류를 향상시키기 위해 백번역 기반 데이터 증강과 일致성 정규화를 통한 자기학습을 융합한 준지도 학습 텍스트 분류 프레임워크인 SMDA를 제안한다. SMDA는 여섯 개의 이진 분류 작업에서 BERT와 XLNet을 모두 능가하며, Emo_supp 작업에서 최대 76.2%의 매크로 F1을 기록하여, 비정답 데이터에 대한 데이터 증강과 준지도 학습을 융합한 전략의 효과를 입증한다.

ABSTRACT

We present semi-supervised models with data augmentation (SMDA), a semi-supervised text classification system to classify interactive affective responses. SMDA utilizes recent transformer-based models to encode each sentence and employs back translation techniques to paraphrase given sentences as augmented data. For labeled sentences, we performed data augmentations to uniform the label distributions and computed supervised loss during training process. For unlabeled sentences, we explored self-training by regarding low-entropy predictions over unlabeled sentences as pseudo labels, assuming high-confidence predictions as labeled data for training. We further introduced consistency regularization as unsupervised loss after data augmentations on unlabeled data, based on the assumption that the model should predict similar class distributions with original unlabeled sentences as input and augmented sentences as input. Via a set of experiments, we demonstrated that our system outperformed baseline models in terms of F1-score and accuracy.

연구 동기 및 목표

• 대화 텍스트에서 상호작용적 정서 반응을 분류할 때 발생하는 레이블이 부족한 문제를 해결하기 위해.
• 풍부한 비정답 대화 데이터를 활용한 준지도 학습을 통해 모델의 일반화 능력과 성능을 향상시키기 위해.
• 특히 백번역을 활용한 데이터 증강이 저자원 텍스트 분류에서 정답 및 비정답 데이터의 품질을 향상시키는 데 효과적인지 탐색하기 위해.
• 자기학습, 엔트로피 최소화, 일치성 정규화를 통합하여 비정답 데이터를 효과적으로 활용하기 위해.
• OffMyChest 데이터셋을 대상으로 여섯 가지 정서 반응 분류 작업에서 제안된 방법을 평가하기 위해.

제안 방법

• SMDA는 입력 문장을 표현하기 위해 XLNet을 기본 트랜스포머 인코더로 사용하고, 정답 및 비정답 문장 모두에 대해 백번역을 적용하여 증강된 데이터를 생성한다.
• 정답 데이터의 경우, 데이터 증강을 통해 클래스 분포를 균형 있게 하고, 지도 학습 손실을 계산한다.
• 비정답 데이터의 경우, 높은 신뢰도의 모델 예측을 자기학습을 통해 의사라벨로 간주하고, 예측값과 의사라벨 간의 KL 발산을 최소화한다.
• 비정답 샘플의 출력에 대한 불확실성을 줄여 확신 있는 예측을 유도하기 위해 엔트로피 최소화를 적용한다.
• 원본 및 증강된 비정답 입력 간의 예측이 유사하도록 하기 위해 일치성 정규화를 적용하고, 출력 분포 간의 KL 발산을 최소화한다.
• 전반적인 목적함수는 지도 학습 손실과 가중치가 부여된 비지도 학습 손실(γ는 학습 중에 증가)을 조합하여 정답 및 비정답 학습 간 균형을 이룬다.

실험 결과

연구 질문

• RQ1 백번역 기반 데이터 증강이 저자원 정서 반응 분류 성능 향상에 기여하는가?
• RQ2 비정답 대화 데이터에 대해 의사라벨 기반 자기학습이 정서 반응 분류에 얼마나 효과적인가?
• RQ3 원본 및 증강된 입력 간 일치성 정규화가 모델의 강건성과 일반화 능력을 향상시키는가?
• RQ4 데이터 증강과 준지도 학습을 융합한 방법이 BERT 및 XLNet과 같은 완전 지도 학습 기반 모델을 초월하는가?
• RQ5 자기학습, 엔트로피 최소화, 일치성 정규화 등의 다양한 구성 요소가 OffMyChest 데이터셋에서 성능 향상에 기여하는 정도는 어떠한가?

주요 결과

• SMDA는 Emo_supp 작업에서 76.2%의 매크로 F1 점수를 기록하여 XLNet(73.8%)과 BERT(73.8%)를 모두 능가했다.
• Info_disc 작업에서 SMDA는 74.3%의 정확도와 71.0%의 F1 점수를 기록했으며, XLNet(72.2% 정확도, 69.3% F1)을 초월했다.
• Support 작업에서 SMDA는 83.5%의 정확도와 77.7%의 F1 점수를 기록했으며, XLNet의 83.4%와 77.3%를 略로 뛰어넘었다.
• Gen_supp 작업에서 SMDA는 91.7%의 정확도와 63.7%의 F1 점수를 기록했으며, XLNet(92.7% 및 65.0%)에 비해 略로 뒤져도 강력한 성능을 보였다.
• SMDA는 XLNet 기반 베이스라인 대비 여섯 개의 이진 분류 작업 전반에서 F1 점수를 지속적으로 향상시켜 준지도 학습 구성 요소의 효과를 입증했다.
• 손실 구성 요소의 분석 결과, 자기학습, 엔트로피 최소화, 일치성 정규화를 모두 조합할 경우 개별 구성 요소만 사용할 경우보다 뛰어난 성능을 달성함을 확인했다.