[논문 리뷰] A Mutual Information Maximization Perspective of Language Representation Learning

Lingpeng Kong, Cyprien de Masson d’Autume외 4명|arXiv (Cornell University)|2019. 10. 18.

Topic Modeling참고 문헌 31인용 수 81

한 줄 요약

본 논문은 단어 표현 학습을 InfoNCE를 통한 상호정보 최대화로 재구성하여 Skip-gram, BERT, XLNet을 통합하고, DIM과 MLM을 결합한 자기지도 목표인 InfoWord를 도입하여 GLUE와 SQuAD와 같은 다운스트림 태스크의 성능을 향상시킨다.

ABSTRACT

We show state-of-the-art word representation learning methods maximize an objective function that is a lower bound on the mutual information between different parts of a word sequence (i.e., a sentence). Our formulation provides an alternative perspective that unifies classical word embedding models (e.g., Skip-gram) and modern contextual embeddings (e.g., BERT, XLNet). In addition to enhancing our theoretical understanding of these methods, our derivation leads to a principled framework that can be used to construct new self-supervised tasks. We provide an example by drawing inspirations from related methods based on mutual information maximization that have been successful in computer vision, and introduce a simple self-supervised objective that maximizes the mutual information between a global sentence representation and n-grams in the sentence. Our analysis offers a holistic view of representation learning methods to transfer knowledge and translate progress across multiple domains (e.g., natural language processing, computer vision, audio processing).

연구 동기 및 목표

• 단어 표현 학습에 대한 통합되고 정보 이론적 관점을 제시한다.
• Skip-gram, BERT, XLNet이 상호정보 최대화 목표를 근사한다는 것을 보인다.
• 새로운 자기지도 태스크를 만들기 위한 일반적이고 확장 가능한 프레임워크를 제공한다.
• 전역 문장과 지역 n-그램 간의 상호정보를 결합하는 새로운 목표를 제시한다.

제안 방법

• Skip-gram, BERT, XLNet을 상호정보 I(A,B)의 InfoNCE 하한의 예로 간주한다.
• 교차 뷰 표현을 점수화하기 위해 f_theta(a,b)=g_psi(b)ᵀg_omega(a) 를 사용한다.
• MLM과 섞기 기반(퍼뮤테이션) 목표가 InfoNCE 관점에 어떻게 맞물리는지 도출한다.
• 전역 문장 표현과 로컬 n-그램 간의 상호정보를 최대화하는 DIM 기반의 새로운 자기지도 목표를 제안한다.
• InfoWord를 DIM 항과 마스킹된 언어 모델링 항의 가중합으로 도입한다: I_InfoWord = lambda_MLM * I_MLM + lambda_DIM * I_DIM.
• InfoNCE에서 대규모 어휘 소프트맥스의 효율적 근사로 음수 샘플링이 어떻게 작동하는지 시演한다.

실험 결과

연구 질문

• RQ1 상호정보 최대화 관점이 전통적이고 현대적 언어 표현 학습 방법들을 통합할 수 있는가?
• RQ2 이 프레임워크 내에서 언어 표현을 개선하기 위해 어떤 새로운 자기지도 태스크를 구성할 수 있는가?
• RQ3 글로벌-문장 DIM 목표를 MLM과 결합하는 것이 표준 BERT-스타일 사전학습에 비해 다운스트림 NLP 태스크를 개선하는가?
• RQ4 제안된 InfoWord 방법이 BERT 변형과 비교하여 GLUE와 SQuAD에서 어떤 성능을 보이는가?

주요 결과

모델	CoLA	SST-2	MRPC	QQP	MNLI	QNLI	RTE	GLUE
Base BERT	52.1	93.5	88.9	71.2	84.6/83.4	90.5	66.4	78.8
Base BERT-NCE	50.8	93.0	88.6	70.5	83.2/83.0	90.9	65.9	78.2
Base InfoWord	53.3	92.5	88.7	71.0	83.7/82.4	91.4	68.3	78.9
Large BERT	60.5	94.9	89.3	72.1	86.7/85.9	92.7	70.1	81.5
Large BERT-NCE	54.7	93.1	89.5	71.2	85.8/85.0	92.7	72.5	80.6
Large InfoWord	57.5	94.2	90.2	71.3	85.8/84.8	92.6	72.0	81.1

• InfoNCE 기반 프레이밍은 Skip-gram, BERT, XLNet을 상호정보 최대화의 예로 통합한다.
• 간단한 새로운 목표(DIM)는 전역 문장 표현을 학습하고 이를 로컬 n-그램 표현과 정렬시키는 것을 가능하게 한다.
• I_MLM과 I_DIM를 결합한 InfoWord는 GLUE와 SQuAD에서 BERT-NCE보다 더 나은 성능을 보여주며, 특히 더 긴 구문 이해가 필요한 태스크에서 두드러진다.
• 재구현 변형(BERT-NCE)은 일부 설정에서 원래의 BERT와 경쟁력이 있지만 마스킹 및 데이터 제시 방식 차이로 인해 다른 설정에서 열등하다.
• 실험 결과 InfoWord의 이점은 더 작은 학습 데이터에서 가장 두드러지며, 라벨 데이터가 부족할 때 사전학습 품질의 역할을 강조한다.