[논문 리뷰] An Effective Label Noise Model for DNN Text Classification

Ishan Jindal, Daniel Pressel외 2명|arXiv (Cornell University)|2019. 03. 18.

Machine Learning and Data Classification참고 문헌 37인용 수 5

한 줄 요약

이 논문은 텍스트 분류에 통합된 비선형 노이즈 모델 레이어를 제안하며, 네트워크와 함께 공동으로 훈련하여 레이블 노이즈를 모델링하고 완화한다. 이 노이즈 레이어를 적절히 초기화하고 정규화함으로써, 극단적인 레이블 노이즈 조건에서도 강건한 문장 표현을 학습할 수 있으며, 이는 노이즈 데이터로 훈련된 표준 DNN보다 일반화 성능을 크게 향상시킨다.

ABSTRACT

Because large, human-annotated datasets suffer from labeling errors, it is crucial to be able to train deep neural networks in the presence of label noise. While training image classification models with label noise have received much attention, training text classification models have not. In this paper, we propose an approach to training deep networks that is robust to label noise. This approach introduces a non-linear processing layer (noise model) that models the statistics of the label noise into a convolutional neural network (CNN) architecture. The noise model and the CNN weights are learned jointly from noisy training data, which prevents the model from overfitting to erroneous labels. Through extensive experiments on several text classification datasets, we show that this approach enables the CNN to learn better sentence representations and is robust even to extreme label noise. We find that proper initialization and regularization of this noise model is critical. Further, by contrast to results focusing on large batch sizes for mitigating label noise for image classification, we find that altering the batch size does not have much effect on classification performance.

연구 동기 및 목표

• 인간의 레이블링 오류로 인해 손상된 대규모 텍스트 데이터셋에서 딥 네트워크를 훈련하는 데 도전하는 것.
• 일반적으로 모델 성능을 저하시키는 노이즈가 있는 레이블 조건에서도 문장 표현 학습을 향상시키는 것.
• 보조적인 청소년 데이터가 필요로 하지 않는 방법을 개발하여, 직접적으로 노이즈가 있는 레이블로부터 강건한 훈련을 가능하게 하는 것.
• 초기화, 정규화 및 배치 크기가 텍스트 분류에서 노이즈에 대한 강건성에 미치는 영향을 조사하는 것.

제안 방법

• CNN 위에 비선형 노이즈 모델 레이어를 도입하여, 훈련 중 레이블 노이즈의 통계를 모델링한다.
• 노이즈 모델과 CNN 가중치를 노이즈가 있는 훈련 데이터에서 역전파를 사용하여 공동 최적화한다.
• 노이즈 모델은 레이블 전환 확률을 나타내는 전이 행렬을 학습하며, 효과적으로 레이블 디노이징 연산자로 작용한다.
• 노이즈 모델 레이어의 적절한 초기화가 노이즈 레이블에 대한 과적합을 방지하는 데 핵심적이다.
• 노이즈 모델에 정규화 기법을 적용하여 일반화 성능을 향상시키고 잘못된 레이블의 기억을 방지한다.
• t-SNE를 통한 특징 표현의 시각화와 학습된 임bedding에 대한 SVM 미세조정을 통해 노이즈 모델의 효과를 평가한다.

실험 결과

연구 질문

• RQ1 인위적으로 주입된 레이블 노이즈가 있는 텍스트 분류 작업에서 비선형 노이즈 모델 레이어가 딥 네트워크 성능을 향상시킬 수 있는가?
• RQ2 노이즈 모델의 초기화와 정규화가 극단적인 레이블 노이즈에 대한 강건성에 어떤 영향을 미치는가?
• RQ3 노이즈가 있는 레이블로 훈련할 때 배치 크기를 변경하면 모델 성능에 상당한 영향을 미치는가?
• RQ4 표준 DNN에 비해 노이즈 모델이 학습된 문장 표현의 질을 어느 정도 향상시키는가?
• RQ5 노이즈 모델이 효과적으로 레이블을 디노이징하고, 노이즈가 있는 지도 학습 조건에서도 기저 네트워크가 진정된 패턴을 학습하는 데 기여하는가?

주요 결과

• 40%의 레이블 노이즈가 있는 SST-2에서 제안된 노이즈 모델은 83.25%의 정확도를 달성하였으며, 기준 모델(70.24%)과 노이즈 모델이 없는 모델(70.95%)을 모두 앞서나갔다.
• 70%의 노이즈가 있는 AG-News 데이터셋에서 이 방법은 90.33%의 정확도를 기록하였으며, 베이스라인(59.70%)과 노이즈 모델이 없는 모델(52.44%)을 크게 앞서나갔다.
• 노이즈 모델의 적절한 초기화와 정규화가 필수적이다. 이들이 없을 경우 극단적 노이즈 조건에서 일반화 성능이 떨어진다.
• 배치 크기는 성능에 미미한 영향을 미치며, 이미지 분류에서는 큰 배치 크기가 레이블 노이즈를 완화하는 데 도움이 된다는 기존 연구와 대조된다.
• t-SNE 시각화 결과, 노이즈 모델은 특징 공간에서 진정된 클래스 레이블이 더 잘 군집되도록 도와주며, 기준 모델은 노이즈가 있는, 잘못된 군집을 학습한다.
• 제안된 모델의 특징에서 훈련된 SVM은 더 잘 일반화된다: 진짜 레이블로 훈련된 SVM은 SST-2에서 83.25%의 정확도를 기록하며, 제안된 모델의 성능과 일치함을 보여주며 효과적인 특징 학습을 확인한다.