[논문 리뷰] Cats climb entails mammals move: preserving hyponymy in compositional distributional semantics.

Gemma De las Cuevas, Andreas Klingler외 2명|arXiv (Cornell University)|2020. 05. 28.

Natural Language Processing Techniques참고 문헌 27인용 수 6

한 줄 요약

이 논문은 구성적 분포의어학에서 이소관계(하위개념관계)를 유지하면서 단어의 양의 준정부호(positive semidefinite, psd) 행렬을 완전히 양의 정부호(completely positive, CP) 사상으로 올리는 새로운 조합 규칙인 압축(Compr)을 제안한다. 스파이더, 컵, 캡과 같은 범주론적 구성요소를 사용함으로써 Compr는 선형적이고 비가환적인 조합을 보장하며, 문장 함의 데이터셋에서 Fuzz와 Phaser보다 뛰어난 성능을 보인다.

ABSTRACT

To give vector-based representations of meaning more structure, one approach is to use positive semidefinite (psd) matrices. These allow us to model similarity of words as well as the hyponymy or is-a relationship. Psd matrices can be learnt relatively easily in a given vector space $M\otimes M^*$, but to compose words to form phrases and sentences, we need representations in larger spaces. In this paper, we introduce a generic way of composing the psd matrices corresponding to words. We propose that psd matrices for verbs, adjectives, and other functional words be lifted to completely positive (CP) maps that match their grammatical type. This lifting is carried out by our composition rule called Compression, Compr. In contrast to previous composition rules like Fuzz and Phaser (a.k.a. KMult and BMult), Compr preserves hyponymy. Mathematically, Compr is itself a CP map, and is therefore linear and generally non-commutative. We give a number of proposals for the structure of Compr, based on spiders, cups and caps, and generate a range of composition rules. We test these rules on a small sentence entailment dataset, and see some improvements over the performance of Fuzz and Phaser.

연구 동기 및 목표

• 기존 조합 규칙이 구성적 분포의어학에서 이소관계(은하관계)를 유지하는 데에 한계가 있음을 해결하기 위해.
• 어휘 수준의 psd 행렬을 문법 유형에 맞는 고차원 CP 사상으로 올리는 방법을 개발하기 위해.
• 조합 규칙이 수학적으로 타당하고 선형적이며 비가환적이면서도 의미적 구조를 유지하도록 보장하기 위해.
• 제안된 조합 규칙이 이전 방법들과 비교해 문장 함의 작업에서 성능 향상을 보이는지 테스트하기 위해.
• 스파이더, 컵, 캡을 사용해 psd 행렬을 조합하는 일반적이고 범주론적인 프레임워크를 제공하기 위해.

제안 방법

• 공간 $M \otimes M^*$ 에서의 어휘 표현을 완전히 양의 정부호(CP) 사상으로 올려 기능어와 어구를 모델링한다.
• 문법 유형과 호환되는 방식으로 psd 행렬을 조합할 수 있는 CP 사상으로서의 압축(Compr) 규칙을 도입한다.
• 스파이더, 컵, 캡과 같은 범주론적 구성요소를 활용해 Compr 규칙의 여러 변형을 생성한다.
• 조합 과정의 선형성과 비가환성을 보장하여 구조적인 의미 조합을 가능하게 한다.
• 결과로 얻은 CP 사상을 사용해 문장과 어구를 이소관계 함의를 유지하는 방식으로 표현한다.
• 실증 평가를 위해 Compr 규칙을 소규모 문장 함의 데이터셋에 적용한다.

실험 결과

연구 질문

• RQ1 분포의어학에서 어휘 표현을 조합할 때, 조합 규칙이 이소관계를 유지할 수 있는가?
• RQ2 psd 행렬에서 유도된 CP 사상은 Fuzz와 Phaser와 같은 기존 규칙과 비교해 의미 조합을 얼마나 잘 모델링하는가?
• RQ3 스파이더, 컵, 캡과 같은 범주론적 구성요소는 얼마나 원칙적이고도 영리한 조합 메커니즘을 가능하게 하는가?
• RQ4 제안된 Compr 규칙이 기준 방법들과 비교해 문장 함의 작업에서 성능 향상을 이룬다 할 수 있는가?
• RQ5 이 조합 규칙은 다양한 문법 유형과 언어적 구조로 일반화될 수 있는가?

주요 결과

• Compr 조합 규칙은 Fuzz와 Phaser와 달리 구성적 분포의어학에서 이소관계를 성공적으로 유지한다.
• Compr는 완전히 양의 정부호 사상으로서 수학적으로 타당하며, 선형성과 비가환성을 보장한다.
• 스파이더, 컵, 캡과 같은 범주론적 구조의 사용은 여러 유효한 조합 규칙의 생성을 가능하게 한다.
• 실증 평가 결과, Compr는 Fuzz와 Phaser보다 소규모 문장 함의 데이터셋에서 성능 향상을 보였다.
• 제안된 방법은 문법 유형과 일치하는 방식으로 psd 행렬을 CP 사상으로 올리는 일반적인 프레임워크를 제공한다.
• 결과는 CP 사상이 전통적인 조합 규칙에 비해 실용적이고 더 구조적인 대안임을 보여준다.