[논문 리뷰] Consistency Regularization for Cross-Lingual Fine-Tuning

Bo Zheng, Li Dong외 8명|arXiv (Cornell University)|2021. 06. 15.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 서브워드 샘플링, 코드 스위치 교체, 가우시안 노이즈, 기계 번역을 포함한 네 가지 데이터 증강 전략을 활용한 일致성 정규화를 통해 전이 성능을 향상시키는 xTune이라는 다국어 미세조정 프레임워크를 제안한다. 증강된 예제 간 및 서로 다른 증강된 버전으로 훈련된 모델 간 예측 일치성을 강제로 적용함으로써, xTune은 특히 자원이 부족한 환경에서 다양한 NLP 작업에서 성능을 크게 향상시킨다.

ABSTRACT

Fine-tuning pre-trained cross-lingual language models can transfer task-specific supervision from one language to the others. In this work, we propose to improve cross-lingual fine-tuning with consistency regularization. Specifically, we use example consistency regularization to penalize the prediction sensitivity to four types of data augmentations, i.e., subword sampling, Gaussian noise, code-switch substitution, and machine translation. In addition, we employ model consistency to regularize the models trained with two augmented versions of the same training set. Experimental results on the XTREME benchmark show that our method significantly improves cross-lingual fine-tuning across various tasks, including text classification, question answering, and sequence labeling.

연구 동기 및 목표

• 데이터 증강을 더 효과적으로 활용하여 미세조정 시 다국어 전이 성능을 향상시키는 것.
• 기존의 미세조정 방식이 증강된 예제를 독립적으로 다루며 일치성을 강제하지 않는 한계를 해결하는 것.
• 분류, 스파닝 추출, 시퀀스 태깅과 같은 다양한 최종 작업에 적용 가능한 유연하고 즉시 사용 가능한 방법을 개발하는 것.
• 언어 변형과 모델 변형 간의 일치성을 강제로 적용함으로써 일반화 성능을 향상시키고, 특히 자원이 부족한 언어에 대해 성능을 향상시키는 것.
• 일치성 정규화가 더 나은 결정 경계와 더 언어에 관계없이 일관된 표현을 이끌어내는지 입증하는 것.

제안 방법

• 입력과 그 의미적으로 동일한 증강된 버전(예: 번역 또는 코드 스위치 변형) 간의 예측 분산을 방지하기 위해 예제 일치성 정규화(R₁)를 도입한다.
• 동일한 훈련 세트의 서로 다른 증강된 버전으로 훈련된 두 모델의 예측을 일치시키기 위해 모델 일치성 정규화(R₂)를 적용하여 코퍼스 수준의 일관성을 촉진한다.
• 네 가지 데이터 증강 전략을 활용한다: 서브워드 샘플링, 코드 스위치 교체, 임베딩에 대한 가우시안 노이즈, 다국어 데이터 확장을 위한 기계 번역.
• R₁과 R₂를 통합된 훈련 목표에 통합하여 증강된 예제들에 걸쳐 예측과 모델 행동을 함께 정규화한다.
• 증강된 시각 간에 공유된 인코더와 공유된 파라미터를 사용하여 일致성 제약 조건을 포함한 엔드 투 엔드 훈련을 가능하게 한다.
• 모델 일치성 정규화를 통해 레이블이 없는 목표 언어 번역을 활용하여 준지도 학습을 지원한다.

실험 결과

연구 질문

• RQ1 데이터 증강된 예제에 일치성 정규화를 적용할 경우 다국어 전이 성능이 향상되는가?
• RQ2 원본 입력과 증강된 입력 간의 예측 일치성을 강제로 적용하면 언어 간 일반화 성능이 향상되는가?
• RQ3 다른 증강된 데이터셋으로 훈련된 모델의 예측을 일치시키는 모델 일치성 정규화는 성능에 어떤 영향을 미치는가?
• RQ4 특정 번역 시스템이나 双어사전이 없는 상황에서도 제안된 방법이 자원이 부족한 언어에서 성능을 향상시킬 수 있는가?
• RQ5 일치성 정규화가 더 언어에 관계없이 일관된 표현과 개선된 결정 경계를 이끌어내는가?

주요 결과

• xTune은 XTREME 벤치마크 전반에서 XLM-R 라지 기준선을 평균 +2.2점 향상시키며, 우르두어와 같이 자원이 부족한 언어에서는 최대 +5.4점까지 향상된다.
• 라벨 정렬이 어려운 POS 작업에서, xTune은 코드 스위치 증강을 통해 +2.6점 향상시키지만, 기존의 데이터 증강을 적용한 일반적인 미세조정은 성능이 1.2점 저하된다.
• 예제 일치성 정규화(R₁)만으로도 다국어 검색 성능이 크게 향상되어 언어에 관계없이 일관된 표현을 학습하는 데 기여함을 시사한다.
• t-SNE 시각화 결과 xTune이 더 단단하고 분리 가능한 결정 경계를 생성하고 의미적으로 동일한 다국어 예제 간에 더 유사한 표현을 생성함을 확인한다.
• 모델 일치성 정규화를 통해 레이블이 없는 목표 언어 번역을 활용한 효과적인 준지도 학습이 가능해지며, 번역에 대한 정답 레이블이 없어도 성능 향상이 가능하다.
• 이 방법은 텍스트 분류, 질의응답, 시퀀스 태깅과 같은 다양한 작업에서 일관된 성능 향상을 보이며, 평가된 모든 설정에서 효과적이다.