[논문 리뷰] Quantifying the Contextualization of Word Representations with Semantic Class Probing

Mengjie Zhao, Philipp Dufter외 2명|arXiv (Cornell University)|2020. 04. 25.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 문맥화된 단어 임베딩에서 의미 클래스(s-class) 추론을 통해 BERT의 문맥화 수준을 정량적으로 측정한다. 하층부가 문맥화에 가장 기여하며, 국소적 문맥(±5단어)만으로도 충분하며, 미세조정(fine-tuning)은 사전학습된 문맥화 지식을 유지하면서 동시에 상위 레이어를 더 작업에 특화된 것으로 만든다.

ABSTRACT

Pretrained language models have achieved a new state of the art on many NLP tasks, but there are still many open questions about how and why they work so well. We investigate the contextualization of words in BERT. We quantify the amount of contextualization, i.e., how well words are interpreted in context, by studying the extent to which semantic classes of a word can be inferred from its contextualized embeddings. Quantifying contextualization helps in understanding and utilizing pretrained language models. We show that top layer representations achieve high accuracy inferring semantic classes; that the strongest contextualization effects occur in the lower layers; that local context is mostly sufficient for semantic class inference; and that top layer representations are more task-specific after finetuning while lower layer representations are more transferable. Finetuning uncovers task related features, but pretrained knowledge is still largely preserved.

연구 동기 및 목표

• BERT가 의미 클래스 추론을 통해 문맥 속 단어를 얼마나 효과적으로 이해하는지 정량적으로 측정하는 것.
• 각 네트워크 레이어가 BERT의 문맥화에 기여하는 정도를 조사하는 것.
• 문맥 창 크기의 영향이 단어 표현의 문맥화에 어떻게 작용하는지 평가하는 것.
• 미세조정이 BERT 표현의 문맥화 능력에 어떻게 영향을 미치는지 분석하는 것.
• 미세조정 이후 사전학습된 문맥화 지식이 얼마나 유지되는지 평가하는 것.

제안 방법

• 목표 단어의 의미 클래스(s-classes)를 예측하기 위해 진단 분류기(diagnostic classifier)를 사용해 BERT의 문맥화된 단어 임베딩을 탐지하는 방법.
• 위키백과 기반 의미 클래스 자원(Wiki-PSE)을 사용해 의미 클래스를 정의하고 단어의 의미 해석에 대한 레이블을 부여하는 방법.
• BERT 레이어, 문맥 창 크기, 사전학습 모델 대비 미세조정 모델 간의 의미 클래스 추론 성능을 평가하는 방법.
• 의미 클래스 예측의 F1 점수를 측정하여 문맥화 수준을 평가하며, 높은 점수일수록 더 강한 문맥 해석 능력을 의미한다.
• 전체 문장의 문맥과 국소적 문맥 창(예: ±5단어)을 비교하여 문맥 길이 요구 조건을 평가하는 방법.
• 하류 작업에서의 미세조정 전후의 의미 클래스 추론 성능 변화를 분석하여 표현의 적응 과정을 연구하는 방법.

실험 결과

연구 질문

• RQ1 BERT의 문맥화된 단어 임베딩은 문맥 속에서 단어의 의미 클래스를 어느 정도 정확하게 추론할 수 있는가?
• RQ2 어느 BERT 레이어가 문맥화에 가장 기여하며, 이 기여도는 레이어 간에 어떻게 다를까?
• RQ3 효율적인 단어 문맥화를 위해 필요한 문맥(단어 창 크기 기준)은 어느 정도인가?
• RQ4 미세조정은 BERT 표현의 문맥화 능력에 어떻게 영향을 미치는가?
• RQ5 미세조정 이후 사전학습된 문맥화 지식은 어느 정도 유지되는가?

주요 결과

• BERT는 높은 의미 클래스 추론 성능(F1 ≈ 85%)을 기록하여 강력한 문맥화 능력을 보이며, 향후 향상 여지가 있음을 시사한다.
• 가장 강력한 문맥화 효과는 BERT의 하층부에서 발생하며, 상위 두 레이어에서의 추가 기여는 미미하다.
• 국소적 문맥(10단어 창, ±5단어)만으로도 효과적인 문맥화가 가능하므로, 전체 문장의 어텐션 구조가 반드시 필요하지 않음을 시사한다.
• 미세조정은 문장 수준 작업(예: 동의어 표현 분류)보다 단어 수준 작업(예: 품사 태깅)에서 상위 레이어 표현에 큰 변화를 초래한다.
• 사전학습된 문맥화 지식은 미세조정 이후에도 잘 유지되며, 특히 하층부에서 높은 이식성(transferability)을 유지한다.
• 미세조정 이후 상위 레이어 표현은 더 작업에 특화된 성격을 띠게 되지만, 하층부 표현은 일반적인 문맥화 능력을 유지한다.