[논문 리뷰] Metaphors in Pre-Trained Language Models: Probing and Generalization Across Datasets and Languages

Ehsan Aghazadeh, Mohsen Fayyaz외 1명|arXiv (Cornell University)|2022. 03. 26.

Language, Metaphor, and Cognition인용 수 6

한 줄 요약

이 논문은 사전 훈련된 언어 모델(PLM)이 매타포르적 지식을 어떻게 인코딩하는지 조사한다. 네 가지 언어(영어, 스페인어, 러시아어, 페르시아어)와 네 가지 매타포르 감지 데이터셋을 대상으로 그들의 문맥적 표현을 조사한다. 결과적으로 매타포르적 지식은 주로 중간 레이어에 인코딩되며, 애너테이션 지침이 일관된 경우 언어 간에 효과적으로 일반화되지만, 애너테이션 지침이 다른 데이터셋 간에는 그렇지 않다.

ABSTRACT

Human languages are full of metaphorical expressions. Metaphors help people understand the world by connecting new concepts and domains to more familiar ones. Large pre-trained language models (PLMs) are therefore assumed to encode metaphorical knowledge useful for NLP systems. In this paper, we investigate this hypothesis for PLMs, by probing metaphoricity information in their encodings, and by measuring the cross-lingual and cross-dataset generalization of this information. We present studies in multiple metaphor detection datasets and in four languages (i.e., English, Spanish, Russian, and Farsi). Our extensive experiments suggest that contextual representations in PLMs do encode metaphorical knowledge, and mostly in their middle layers. The knowledge is transferable between languages and datasets, especially when the annotation is consistent across training and testing sets. Our findings give helpful insights for both cognitive and NLP scientists.

연구 동기 및 목표

• 사전 훈련된 언어 모델(PLM)이 문맥적 표현에 매타포르적 지식을 포함하고 있는지 확인하는 것.
• 매타포르적 지식이 서로 다른 언어와 데이터셋 간에 어떻게 일반화되는지 평가하는 것.
• PLM 내 계층적 분포에서 매타포르적 정보가 어디에 가장 뚜렷하게 인코딩되어 있는지 조사하는 것.
• 애너테이션 일관성이 다국어 및 다중 데이터셋 전이 성능에 미치는 영향을 평가하는 것.
• PLM이 매타포르 이해에 대해 얼마나 인지적으로 타당한지에 대한 통찰을 제공하는 것.

제안 방법

• 엣지 프로빙과 최소 기술 길이(MDL)를 사용한 PLM 표현 조사.
• 맥락적 표현에 기반해 이진 분류기 훈련을 통해 매타포르성 여부를 예측하고, 정확도와 추출 가능성 측정.
• 한 언어에서 훈련하고 다른 언어에서 테스트하는 다국어 프로빙 수행(예: 영어 → 스페인어, 러시아어, 페르시아어).
• 한 데이터셋에서 훈련하고 다른 데이터셋에서 테스트하는 다중 데이터셋 프로빙 수행(예: LCC → TroFi, VUA POS/Verbs), 훈련 크기를 고정(3,838).
• 다국어 PLM(XLM-R)과 단국어 BERT를 사용해 제로샷 전이 평가 수행.
• 계층별 성능 분석을 통해 매타포르적 지식을 가장 효과적으로 인코딩하는 레이어 식별.

실험 결과

연구 질문

• RQ1 사전 훈련된 언어 모델이 문맥적 표현에 매타포르적 지식을 포함하고 있는가?
• RQ2 Transformer 아키텍처의 어느 레이어에서 매타포르적 지식이 가장 뚜렷하게 인코딩되어 있는가?
• RQ3 매타포르 감지의 매타포르적 지식은 서로 다른 언어 간에 얼마나 잘 전이되는가, 특히 제로샷 설정에서 어떻게 되는가?
• RQ4 애너테이션 일관성이 PLM에서 다중 데이터셋 일반화에 어떤 영향을 미치는가?
• RQ5 학습 데이터와 테스트 데이터 간의 분포 이탈이 성능에 어떤 영향을 미치는가?

주요 결과

• 매타포르적 지식은 사전 훈련된 언어 모델의 중간 레이어에 인코딩되며, 이 레이어에서 최고의 성능가 관찰된다.
• 다국어 전이에서 매타포르 감지 성능이 높게 유지되며(예: 영어 → 스페인어 78.02%, 영어 → 페르시아어 77.3%, 영어 → 러시아어 78.04%), 이는 애너테이션이 일관된 경우 강력한 일반화를 의미한다.
• 다중 데이터셋 전이 성능는 내부 분포 성능보다 크게 떨어지며, 대부분의 경우 절대적 하락 폭이 13%를 초과한다. 특히 애너테이션 지침이 다를 경우 더욱 심각하다.
• 가장 좋은 다중 데이터셋 전이 성능는 VUA POS와 VUA Verbs 간에 관찰되며(각각 68.61% 및 67.15%), 이는 유사한 애너테이션 절차와 품사 커버리지 범위를 공유하기 때문이다.
• 무작위 기반 모델은 외부 분포 설정에서 54–64%의 정확도를 기록하며, 관찰된 성능 향상은 애너테이션 편향이 아닌 학습된 매타포르적 지식 때문임을 시사한다.
• 다국어 전이와 다중 데이터셋 전이 간 성능 격차는 뚜렷하며, 일부 케이스에서는 다국어 전이 성능가 다중 데이터셋 전이 성능보다 10% 이상 높다. 이는 애너테이션 일관성이 핵심 요소임을 강조한다.