[논문 리뷰] Semi-Supervised Sequence Modeling with Cross-View Training

Kevin B. Clark, Minh-Thang Luong외 2명|arXiv (Cornell University)|2018. 09. 22.

Topic Modeling참고 문헌 68인용 수 20

한 줄 요약

이 논문은 시퀀스 모델링을 위한 준지도 학습 방법인 크로스뷰 트레이닝(CVT)을 제안한다. CVT는 전체 모델의 예측을 기반으로 레이블이 없는 입력의 제한된 시각에 대해 보조 예측 헤드를 훈련시켜 Bi-LSTM 표현을 향상시킨다. CVT는 다섯 가지 시퀀스 태깅 작업, 기계 번역, 의존성 파싱에서 최신 기술(SOTA) 성능을 달성하며, 자기지도 학습과 다중 작업 학습을 통합하여 표현을 공동 최적화한다.

ABSTRACT

Unsupervised representation learning algorithms such as word2vec and ELMo improve the accuracy of many supervised NLP models, mainly because they can take advantage of large amounts of unlabeled text. However, the supervised models only learn from task-specific labeled data during the main training phase. We therefore propose Cross-View Training (CVT), a semi-supervised learning algorithm that improves the representations of a Bi-LSTM sentence encoder using a mix of labeled and unlabeled data. On labeled examples, standard supervised learning is used. On unlabeled examples, CVT teaches auxiliary prediction modules that see restricted views of the input (e.g., only part of a sentence) to match the predictions of the full model seeing the whole input. Since the auxiliary modules and the full model share intermediate representations, this in turn improves the full model. Moreover, we show that CVT is particularly effective when combined with multi-task learning. We evaluate CVT on five sequence tagging tasks, machine translation, and dependency parsing, achieving state-of-the-art results.

연구 동기 및 목표

• 표현 학습 중에 태스크 특화 레이블 데이터를 사용하지 않는 사전 훈련 방법의 한계를 해결한다.
• 표준 자기학습에서 모델이 자신의 예측으로 훈련되며 강력한 정규화가 없는 타투로니어스 성격을 극복한다.
• 입력 데이터를 수정하지 않고도 비라벨 텍스트를 효과적으로 활용하여 시퀀스 모델의 문맥 표현을 향상시키는 방법을 개발한다.
• 입력의 부분적 시각을 보는 보조 예측 모듈을 도입하여 NLP에서 효과적인 준지도 학습을 가능하게 한다.
• CVT가 다중 작업 학습과 원활하게 통합되어 성능을 향상시키고 훈련 시간을 단축시킬 수 있음을 보여준다.

제안 방법

• 라벨이 있는 데이터에 대해 표준 지도 학습을 통해 주요 Bi-LSTM 인코더를 훈련시킨다.
• 비라벨 예제에서, 예를 들어 전방 LSTM 상태만을 입력으로 받는 보조 예측 모듈을 훈련시킨다.
• 전체 모델의 예측을 소프트 타겟으로 사용하여 보조 모듈을 훈련시고, 다양한 시각 간의 일致성을 강제한다.
• 공유된 중간 표현을 통해 보조 모듈에서 기울기를 역전파하여 공유 인코더의 품질을 향상시킨다.
• 동일한 공유 인코더 위에 다양한 태스크를 위한 추가 예측 헤드를 추가하여 CVT를 다중 작업 학습과 결합한다.
• 전체 모델이 교사이고 보조 모듈이 학생인 지식 정복 스타일의 훈련을 사용하여, 다양한 시각을 통해 입력 변형에 대한 강건성을 증진시킨다.

실험 결과

연구 질문

• RQ1 입력 데이터를 수정하지 않고 비라벨 데이터를 활용하여 준지도 학습 방법이 시퀀스 모델 표현을 향상시킬 수 있는가?
• RQ2 입력의 제한된 시각에 대해 보조 모델을 훈련시키는 것이 표준 자기학습이나 사전 훈련보다 더 나은 문맥 표현을 유도하는가?
• RQ3 CVT는 다중 작업 학습과 효과적으로 통합되어 성능을 향상시키고 훈련 시간을 단축시킬 수 있는가?
• RQ4 이산 입력을 갖는 NLP 작업에서 CVT는 일致성 정규화나 적대적 훈련과 비교해 성능가 어떻게 되는가?
• RQ5 다양한 시각 일치 예측 헤드를 사용하면 시퀀스 모델링에서 더 강건하고 일반화 가능한 표현이 도출되는가?

주요 결과

• CVT는 명명된 실체 인식, 품사 태깅, 텍스트 채킹, 의존성 파싱, 조합적 카테고리어리즘 슈퍼태깅을 포함한 다섯 가지 시퀀스 태깅 작업에서 최신 기술 성능을 달성한다.
• 영어-베트남어 기계 번역에서 CVT는 이전에 발표된 결과를 초월하여, 시퀀스 태깅을 넘어서 효과성을 입증한다.
• 다중 작업 학습과 결합할 경우, CVT는 다중 작업 ELMo 모델을 능가하면서도 총 훈련 시간을 단축시킨다.
• CVT는 Bi-LSTM 인코더를 사용한 시퀀스 태깅 및 시퀀스 투 시퀀스 모델을 포함한 다양한 아키텍처에서 효과적이다.
• CVT는 모델이 부분적인 입력 시각에 걸쳐 일반화 가능한 강건하고 문맥적으로 풍부한 특징을 학습하도록 강제하여 표현 품질을 크게 향상시킨다.
• 이 방법은 입력 변형이나 단어 임베딩 노이즈가 필요하지 않기 때문에 이질적인 텍스트 입력에 적합하며, 강건하고 일반화 가능한 성능을 보인다.