[논문 리뷰] Inducing Syntactic Trees from BERT Representations

Rudolf Rosa, David Mareček|arXiv (Cornell University)|2019. 06. 27.

Topic Modeling참고 문헌 7인용 수 14

한 줄 요약

이 논문은 문장에서 단어를 제거했을 때 그 단어의 문맥적 임베딩이 얼마나 변하는지 측정하여 '감소 가능성' 점수를 정의함으로써, BERT 표현에서 훈련 없이도 의존 구조 트리를 유도하는 새로운 방법을 제안한다. 이 방법은 BERT의 깊은 문맥 표현을 활용하여 문법적 역할을 추정하며, 감소 가능성 점수가 높은 단어들(예: 형용사)은 의존 트리에서 잎이나 자식 노드가 되는 경향이 있고, 감소 가능성 점수가 낮은 단어들(예: 주동사)은 머리나 루트 노드가 되기 쉬운 경향이 있다. 간단한 구문 분석 알고리즘을 사용하여 이 방법은 40.6%의 Unlabeled Attachment Score(UAS)를 달성하며, 강력한 오른쪽 체인 기반 보조선형(29.5% UAS)을 크게 앞서며, 사전에 트레이닝된 언어 모델 표현에서 직접적으로 문법적 구조를 유도할 수 있음을 보여준다.

ABSTRACT

We use the English model of BERT and explore how a deletion of one word in a sentence changes representations of other words. Our hypothesis is that removing a reducible word (e.g. an adjective) does not affect the representation of other words so much as removing e.g. the main verb, which makes the sentence ungrammatical and of "high surprise" for the language model. We estimate reducibilities of individual words and also of longer continuous phrases (word n-grams), study their syntax-related properties, and then also use them to induce full dependency trees.

연구 동기 및 목표

• 문법적 정확성이 손상되지 않게 단어를 생략할 수 있는 능력, 즉 문법적 감소 가능성의 정의를 BERT 표현에서 직접 추정할 수 있는지 조사하는 것.
• BERT에서 유도된 감소 가능성 점수를 사용하여, 문법적으로 애너테이션된 데이터에 대한 미세조정 없이도 프로젝티브 의존 트리를 유도할 수 있는지 탐색하는 것.
• BERT 기반 감소 가능성과 실제 문법적 구조 간의 상관관계를 평가하며, 특히 잎 노드, 머리 노드, 루트 노드 식별 측면에서 분석하는 것.
• 감소 가능성 점수를 사용하여 의존 트리를 구축하는 구문 분석 알고리즘을 개발하고 비교하며, 무정보 기반 기반선보다 더 높은 정확도를 달성하는 것을 목표로 하는 것.

제안 방법

• 문장 $ s $ 내의 구문 $ p $ 의 감소 가능성 점수 $ r_{p,s} $ 는 원래 문장 $ s $ 의 BERT 표현과 $ p $ 가 제거된 수정된 문장 $ s_{-p} $ 의 BERT 표현 간의 평균 유클리드 거리로 계산된다.
• BERT 표현은 문장 내 각 단어의 위치에서 BERT 인코더의 마지막 레이어에서 추출되며, 거리는 문장 내 나머지 모든 단어에 대해 L2 노름을 사용하여 계산된다.
• 알고리즘 D 는 비틀림이 없는 구조 제약(비교형 괄호, 머리 노드 존재)을 유지하면서 감소 가능성 점수가 가장 높은 구문을 탐욕적으로 삽입함으로써 프로젝티브 트리를 구축하기 위해 재귀적 머리가 있는 괄호 인코딩을 사용한다.
• 알고리즘 R 은 오른쪽 체인 기반 보조선형을 바탕으로 하되, 각 노드는 감소 가능성 점수가 더 높은 바로 뒤의 다음 노드에 연결되어야 하며, 이는 부모 노드가 자식 노드보다 감소 가능성 점수가 낮다는 것을 보장한다.
• 이 방법은 문법 데이터에 대한 미세조정을 완전히 회피하며, 모든 점수와 구문 분석 결정은 사전에 트레이닝된 BERT 모델에서 직접 유도된다.
• 구두점은 성능 향상을 위해 감소 가능성 점수를 낮게 처리하는 것이 선택적으로 가능하며, 이는 구두점이 일반적으로 매우 감소 가능성이 낮고 구문 분석에 방해가 되기 때문이다.

실험 결과

연구 질문

• RQ1 BERT 표현은 감소 가능성이 높은 단어(예: 형용사)가 문법적으로 손상 없이 생략될 수 있음을 감지할 수 있는가?
• RQ2 BERT 기반 감소 가능성 점수는 실제로 의존 트리의 구조와 얼마나 관련이 있는가? 특히 잎 노드와 부모-자식 관계 측면에서.
• RQ3 감소 가능성 점수를 사용하여 문법 애너테이션 데이터에 대한 미세조정 없이도 정확한 의존 트리를 유도할 수 있는가?
• RQ4 제안된 구문 분석 알고리즘(D 및 R)은 오른쪽 체인과 같은 강력한 무정보 기반 기반선과 비교해 Unlabeled Attachment Score(UAS) 측면에서 어떻게 성능을 내는가?
• RQ5 문장의 루트 노드는 문법 이론이 예측한 바와 같이 항상 감소 가능성 점수가 가장 낮은 단어인가?

주요 결과

• 이 방법은 의존 트리에서 잎 노드와 비잎 노드를 구분하는 데 74.5%의 정확도를 달성하였으며, 모든 단어가 잎 노드라고 가정하는 기반선(66.4%)을 크게 뛰어넘었다.
• 34%의 문장에서 문법적 루트가 감소 가능성 점수가 가장 낮은 단어였으며, 구두점을 제외한 경우 46%로 상승하였으며, 이는 무작위 기반선(13%)보다 훨씬 높은 비율이었다.
• 부모 노드가 자식 노드보다 감소 가능성 점수가 낮다는 가정을 통해 의존 간선 방향을 70.6%의 정확도로 예측하였으며, 오른쪽 체인 기반선(65.8%)을 초월하였다.
• 구두점을 감소 가능성 점수를 낮게 처리한 경우, 알고리즘 R 은 UAS 40.6%를 달성하였으며, 오른쪽 체인 기반선(29.5%)을 11.1%포인트 뛰어넘었다.
• 구두점 감소 가능성 점수를 낮춘 경우, 알고리즘 D 는 UAS 33.1%를 기록하였으며, 이는 최소한의 구조 제약 조건에서도 기반선 성능을 향상시킬 수 있음을 보여주었다.
• 단어의 평균 감소 가능성 점수는 품사 태그와 상관관계가 있으며, 형용사와 부사에서는 높은 감소 가능성 점수를 보이며, 동사에서는 낮은 감소 가능성 점수를 보이며, 언어학적 직관과 일치한다.