[논문 리뷰] Context-based Virtual Adversarial Training for Text Classification with Noisy Labels

Do-Myoung Lee, Yeachan Kim외 1명|arXiv (Cornell University)|2022. 05. 29.

Anomaly Detection Techniques and Applications인용 수 4

한 줄 요약

이 논문은 텍스트 분류에서 노이즈가 많은 레이블에 대한 강건성을 향상시키기 위해 단어 수준의 입력이 아닌 문맥 특성 표현에서의 적대적 훈련을 수행하는 네트워크 독립적 방법인 컨텍스트 기반 가짜 적대적 훈련(ConVAT)을 제안한다. ConVAT는 표준 VAT에 비해 시간과 메모리 비용을 크게 줄이며, 노이즈 레이블의 기억을 효과적으로 방지하면서도 네 가지 벤치마크 데이터셋에서 높은 노이즈 비율 조건에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep neural networks (DNNs) have a high capacity to completely memorize noisy labels given sufficient training time, and its memorization, unfortunately, leads to performance degradation. Recently, virtual adversarial training (VAT) attracts attention as it could further improve the generalization of DNNs in semi-supervised learning. The driving force behind VAT is to prevent the models from overfitting data points by enforcing consistency between the inputs and the perturbed inputs. This strategy could be helpful in learning from noisy labels if it prevents neural models from learning noisy samples while encouraging the models to generalize clean samples. In this paper, we propose context-based virtual adversarial training (ConVAT) to prevent a text classifier from overfitting to noisy labels. Unlike the previous works, the proposed method performs the adversarial training at the context level rather than the inputs. It makes the classifier not only learn its label but also its contextual neighbors, which alleviates the learning from noisy labels by preserving contextual semantics on each data point. We conduct extensive experiments on four text classification datasets with two types of label noises. Comprehensive experimental results clearly show that the proposed method works quite well even with extremely noisy settings.

연구 동기 및 목표

• 딥 네ural 네트워크가 텍스트 분류에서 노이즈 레이블에 과적합하는 문제를 해결하기 위해.
• 청정 샘플과 그 문맥적 이웃 간의 일관성을 강제하여 모델 일반화를 향상시키기 위해.
• 기본 가짜 적대적 훈련(VAT)에 비해 계산 및 메모리 오버헤드를 줄이기 위해.
• 추가 훈련 파라미터가 필요로 하지 않는 네트워크 독립적 방법을 개발하기 위해.
• 다양한 텍스트 분류 데이터셋에서 극단적인 레이블 노이즈 설정에서도 효과성을 입증하기 위해.

제안 방법

• ConVAT는 단어 수준의 입력이 아닌 문맥 수준의 특성 공간에서 적대적 훈련을 수행하여 문맥 표현에 집중한다.
• 주어진 샘플에서 분류 손실를 최대화하는 악성 편향을 찾기 위해 최소-최대 최적화 문제를 설정한다.
• 원본 및 페르티urbed된 문맥 벡터 간의 분포 거리 최소화를 통해 강건성과 매끄러움을 강제한다.
• 전체 네트워크 역전파와 비교해 소프트맥스 레이어의 기울기만을 사용하여 페르티urbed를 계산함으로써 메모리 및 계산 비용을 절감한다.
• 네트워크 아키텍처를 수정하거나 추가 파라미터를 추가하지 않고도 훈련 중에 적용된다.
• 적대적 페르티urbed를 통해 레이블 스무딩을 암묵적으로 구현함으로써 과신뢰도와 노이즈 레이블의 기억을 감소시킨다.

실험 결과

연구 질문

• RQ1 문맥 수준에서의 적대적 훈련이 텍스트 분류에서 레이블 노이즈에 대한 강건성을 향상시키는가?
• RQ2 단어 수준의 VAT와 비교해 문맥 수준의 적대적 훈련이 노이즈 레이블에 대한 과적합을 줄이는가?
• RQ3 표준 VAT에 비해 ConVAT가 더 낮은 시간 및 메모리 복잡도로 더 뛰어난 성능을 달성할 수 있는가?
• RQ4 편향 크기(epsilon)의 선택이 다양한 노이즈 비율 조건에서 성능에 어떻게 영향을 미치는가?
• RQ5 다양한 노이즈 패턴을 가진 다양한 텍스트 분류 데이터셋에서 ConVAT는 효과적인가?

주요 결과

• ConVAT는 균일 및 클래스 조건부 레이블 노이즈 설정 모두에서 네 가지 텍스트 분류 데이터셋에서 최신 기술 수준의 방법들을 능가한다.
• ConVAT로 훈련된 모델는 50%의 노이즈 비율 조건에서도 과적합 없이 안정적이고 점진적으로 향상되는 검증 정확도를 보이며, 이는 노이즈 레이블에 대한 기억을 방지함을 시사한다.
• ConVAT는 표준 VAT에 비해 훈련 시간을 최대 5배 줄이고, 특히 더 깊은 네트워크에서 메모리 사용을 크게 감소시킨다.
• t-SNE 시각화 결과, ConVAT의 문맥 벡터는 훈련 전반에 걸쳐 잘 군집되어 있고 클래스 간 구분이 뚜렷한 반면, CNN은 군집 구조를 잃는다.
• 최적의 epsilon 값은 노이즈 비율 증가함에 따라 증가하며, 격자 탐색을 통해 더 높은 노이즈 비율에서는 더 큰 페르티urbed 크기가 최고 성능을 내는 것으로 확인되었다.
• 매우 높은 노이즈 수준에서도 ConVAT는 뛰어난 일반화 성능을 유지하며 일관된 성능 향상을 통해 강건성을 입증한다.