[논문 리뷰] Virtual Adversarial Training for Semi-Supervised Text Classification

Takeru Miayto, Andrew M. Dai외 1명|arXiv (Cornell University)|2016. 05. 25.

Anomaly Detection Techniques and Applications인용 수 40

한 줄 요약

이 논문은 순환 신경망에서 원본 one-hot 입력 대신 단어 임베딩에 노이즈를 적용하는 새로운 가상 대비 학습 방법을 제안한다. 이는 효과적인 준지도 학습을 가능하게 하며, 다양한 벤치마크 작업에서 최신 기술 수준(SOTA) 성능을 달성한다. 또한 임베딩 품질을 향상시키고 과적합을 줄인다.

ABSTRACT

Adversarial training provides a means of regularizing supervised learning algorithms while virtual adversarial training is able to extend supervised learning algorithms to the semi-supervised setting. However, both methods require making small perturbations to numerous entries of the input vector, which is inappropriate for sparse high-dimensional inputs such as one-hot word representations. We extend adversarial and virtual adversarial training to the text domain by applying perturbations to the word embeddings in a recurrent neural network rather than to the original input itself. The proposed method achieves state of the art results on multiple benchmark semi-supervised and purely supervised tasks. We provide visualizations and analysis showing that the learned word embeddings have improved in quality and that while training, the model is less prone to overfitting.

연구 동기 및 목표

• 원본 one-hot 단어 표현과 같은 희박하고 고차원적인 텍스트 입력에서 표준 대비 학습의 한계를 해결하기 위해.
• 원본 입력 벡터가 아닌 단어 임베딩에서 작동함으로써 가상 대비 학습을 텍스트 영역으로 확장하기 위해.
• 준지도 및 지도 텍스트 분류 작업에서 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 대비 정규화를 통해 학습된 단어 임베딩의 품질을 향상시키기 위해.

제안 방법

• 원본 one-hot 입력 벡터 대신 순환 신경망 내 단어 임베딩에 노이즈를 적용한다.
• 노이즈가 적용된 입력에 대한 레이블이 필요 없이 예측 분산을 최대화하는 가상 대비 노이즈를 생성하기 위해 가상 대비 학습을 사용한다.
• 계산 비용을 줄이기 위해 일阶 근사법을 사용하여 대비 노이즈를 계산한다.
• 라벨이 있는 데이터에 대한 지도 학습 손실과 라벨이 있거나 없는 데이터에 대한 일致성 정규화를 조합하여 모델을 훈련한다.
• 단어 임베딩의 연속성을 활용하여 의미 있는 대비 예제를 생성함으로써 모델의 강건성을 향상시킨다.
• 이 방법은 RNN 기반 텍스트 분류기에서 적용되며 표준 벤치마크 데이터셋에서 평가된다.

실험 결과

연구 질문

• RQ1 희박하고 고차원적인 입력에서 가상 대비 학습이 텍스트 분류에 효과적으로 적용될 수 있는가?
• RQ2 원본 입력 대신 단어 임베딩에 노이즈를 적용하는 것이 준지도 학습에서 더 나은 일반화를 이끌어내는가?
• RQ3 기존의 지도 및 준지도 기반 베이스라인 대비 정확도와 강건성 측면에서 제안된 방법은 어떻게 비교되는가?
• RQ4 대비 학습이 텍스트 모델에서 학습된 단어 임베딩의 품질을 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 다양한 벤치마크 준지도 및 순수 지도 텍스트 분류 작업에서 최신 기술 수준 성능을 달성한다.
• 특히 자원이 제한된 라벨 데이터 설정에서 훈련 중 과적합이 감소하는 것으로 나타났다.
• 시각화 결과는 이 방법으로 학습된 단어 임베딩이 향상된 의미적 구조와 품질을 가지는 것으로 나타났다.
• 작은 단어 임베딩 노이즈에 대한 예측 일致성을 장려함으로써 모델을 효과적으로 정규화한다.