[논문 리뷰] Probing BERT in Hyperbolic Spaces

Boli Chen, Yao Fu외 5명|arXiv (Cornell University)|2021. 04. 08.

Topic Modeling참고 문헌 20인용 수 19

한 줄 요약

이 논문은 BERT의 컨텍스트 기반 임베딩을 비유클리드 공간에서 분석하기 위해 푸앵카레 프로브를 도입한다. 푸앵카레 볼 모델은 자연스럽게 트리 구조를 띠는 기하학을 지녀, 계층적인 언어적 구조를 더 잘 포착할 수 있다. 이 방법은 특히 깊이 있는 트리와 긴 문장에서 유사도가 높은 문법적 의존 트리와 감성 계층을 복원하는 데 있어 유클리드 프로브보다 뛰어난 성능을 보이며, BERT의 문법적 표현 방식이 본질적으로 비유클리드 기하학을 선호할 가능성을 시사한다.

ABSTRACT

Recently, a variety of probing tasks are proposed to discover linguistic properties learned in contextualized word embeddings. Many of these works implicitly assume these embeddings lay in certain metric spaces, typically the Euclidean space. This work considers a family of geometrically special spaces, the hyperbolic spaces, that exhibit better inductive biases for hierarchical structures and may better reveal linguistic hierarchies encoded in contextualized representations. We introduce a Poincare probe, a structural probe projecting these embeddings into a Poincare subspace with explicitly defined hierarchies. We focus on two probing objectives: (a) dependency trees where the hierarchy is defined as head-dependent structures; (b) lexical sentiments where the hierarchy is defined as the polarity of words (positivity and negativity). We argue that a key desideratum of a probe is its sensitivity to the existence of linguistic structures. We apply our probes on BERT, a typical contextualized embedding model. In a syntactic subspace, our probe better recovers tree structures than Euclidean probes, revealing the possibility that the geometry of BERT syntax may not necessarily be Euclidean. In a sentiment subspace, we reveal two possible meta-embeddings for positive and negative sentiments and show how lexically-controlled contextualization would change the geometric localization of embeddings. We demonstrate the findings with our Poincare probe via extensive experiments and visualization. Our results can be reproduced at https://github.com/FranxYao/PoincareProbe.

연구 동기 및 목표

• BERT의 문법적 및 감성 표현이 유클리드 공간보다 비유클리드 공간에서 더 잘 모델링되는지 조사하는 것.
• 비유클리드 공간의 기하학을 활용해 계층적 구조를 명시적으로 코딩하는 푸앵카레 프로브를 개발하는 것.
• 프로브가 표준 유클리드 프로브보다 언어적 계층에 더 민감한지 평가하는 것.
• 감성 임베딩의 기하학적 국소화와 어휘 기반 제어된 컨텍스트화의 영향을 탐색하는 것.

제안 방법

• 푸앵카레 프로브는 BERT의 컨텍스트 기반 단어 임베딩을 곡률이 일정한 음의 값을 가지는 푸앵카레 볼로 투영한다.
• 기하학적 일관성을 유지하기 위해 일반화된 푸앵카레 볼 모델에 정의된 모비우스 연산(덧셈, 행렬 곱셈, 지수 및 로그 맵)을 사용한다.
• 문법 탐사에서는 계층이 의존 트리의 깊이에 의해 정의되며, 원점에 가까운 노드는 더 높은 문법 수준을 나타낸다.
• 감성 탐사에서는 원점에 [POS]와 [NEG]라는 두 개의 메타-임베딩을 배치하고, 단어의 감성 극성에 따라 반경 거리가 결정된다.
• 프로브는 푸앵카레 공간 내 기하관계를 사용해 문법적 구조나 감성 극성을 예측하도록 훈련된다.
• 메서드는 문법 및 감성 태스크에서 UUAS(Unlabeled Ullmann's Accuracy Score)와 DSpr(Dependency Structure Precision)를 사용해 평가된다.

실험 결과

연구 질문

• RQ1 비유클리드 기하학이 유클리드 기하학보다 BERT의 문법적 표현의 계층적 구조를 더 잘 포착하는가?
• RQ2 특히 깊이가 있거나 문장이 긴 경우, 푸앵카레 프로브가 의존 트리를 유클리드 프로브보다 더 정확하게 복원할 수 있는가?
• RQ3 BERT의 감성 임베딩은 비유클리드 공간에서 어떻게 기하학적으로 국소화되는가? 그리고 어휘 기반 제어된 컨텍스트화는 어떤 역할을 하는가?
• RQ4 푸앵카레 프로브는 자체적으로 강력한 파서가 아니더라도 언어적 구조에 민감한가?

주요 결과

• 푸앵카레 프로브는 BERTbase10 문법 탐사 작업에서 UUAS 84.5를 기록하여, 비선형성을 가진 최고의 유클리드 프로브(84.0)를 뛰어넘었으며, 이는 문법적 구조에 대한 더 높은 민감도를 시사한다.
• 깊이 있는 트리와 긴 문장에서 푸앵카레 프로브는 유클리드 프로브보다 상당히 높은 구문 분석 점수를 기록했으며, 이는 BERT의 문법 기하학이 유클리드 기하학이 아닐 수 있음을 시사한다.
• 감성 탐사에서 푸앵카레 프로브는 긍정과 부정 감성에 대해 두 개의 명확한 메타-임베딩을 드러내었으며, 감성 강도가 높은 단어들은 각각의 메타-임베딩에 더 가까이 국소화되어 있었다.
• 랜덤 기반 임베딩에서의 낮은 점수(UUAS ~19.9)는 프로브가 강력한 파서로 작동하지 않으며, 오직 내재된 언어적 구조에만 민감하다는 점을 확인한다.
• 곡률를 다양하게 조정한 실험에서, -0.5와 -1.0의 곡률 값이 거리 태스크에서 최고의 DSpr(0.70)와 UUAS(40.5)를 기록하여, 문법 계층에 최적의 기하학적 적합성을 보였다.
• 시각화 결과는 비유클리드 공간이 반경에 따라 체적의 지수적 증가를 보이며 트리 구조를 더 잘 수용할 수 있음을 확인했으며, 이는 유클리드 공간의 다항식 증가와는 대비된다.