[논문 리뷰] Incremental Monoidal Grammars

Dan Shiebler, Alexis Toumi외 1명|arXiv (Cornell University)|2020. 01. 02.

Natural Language Processing Techniques참고 문헌 22인용 수 4

한 줄 요약

이 논문은 형식 문법을 가중치가 부여된 오토마타로 매핑하는 함자를 통해 증분 구문 분석과 확률적 언어 모델링을 가능하게 하는 범주론적 프레임워크로 증분 모나이드 문법을 소개한다. 이는 DisCoCat 의미론을 가중치가 부여된, 반환기 기반의 문법으로 확장하며, 로그-확률의 선형 근사화를 사용하여 확률적 언어 모델로부터 $\mathbb{R}_{\geq 0}$-모나이드 문법을 유추하는 학습 알고리즘을 제공한다.

ABSTRACT

In this work we define formal grammars in terms of free monoidal categories, along with a functor from the category of formal grammars to the category of automata. Generalising from the Booleans to arbitrary semirings, we extend our construction to weighted formal grammars and weighted automata. This allows us to link the categorical viewpoint on natural language to the standard machine learning notion of probabilistic language model.

연구 동기 및 목표

• 자연어처리에서 사용되는 범주적 구성적 분포적 모델(DisCoCat)과 확률적 언어 모델 간 격차를 메우기 위해.
• 자유 모나이드 범주를 사용하여 문법의 증분 구문 분석을 형식화하고, 문법에서 오토마타 코알제브라로의 함자를 정의하기 위해.
• 임의의 반환기 위에서의 형식 문법을 일반화하여 가중치가 부여되고 확률적으로 추론 가능한 문법을 가능하게 하기 위해.
• 확률적 언어 모델로부터 $\mathbb{R}_{\geq 0}$-모나이드 문법을 유추하는 학습 알고리즘을 개발하기 위해.
• 구문 기반의 범주론적 모델과 의미 벡터 공간, 동적 구문 분석을 통합하기 위한 기초를 마련하기 위해.

제안 방법

• 생성 화살표와 관계를 갖는 전순서 모나이드로 모나이드 문법을 정의하여, 문맥 자유 문법과 프리그룹 문법을 일반화한다.
• 임의의 반환기 $\mathbb{S}$ 에 대해, 가중치가 부여된 오토마타 함자 $\mathcal{W}(X) = \mathbb{S} \times (\mathbb{S}^X)^V$ 의 코알제브라로의 $\mathbb{S}$-모나이드 문법에서 함자 $\mathcal{I}$ 를 구성한다.
• 최대 구문 상태의 개념을 도입하고, 최대 구문 상태의 가능도 $pr_M(p)$ 을 $p$ 가 최대가 되는 모든 구문 분석에 대한 가능도의 합으로 정의한다.
• 학습 목표를 $\log(pr_M(p))$ 와 $B_p$ 내의 생성 화살표들에 대한 $\log(r(g))$ 의 가중치 합 사이의 $L^2$-노름 최소화 문제로 공식화한다.
• 로그-확률의 선형 근사화를 사용하고, 유한하거나 무한한 구문 상태 집합의 경우 정규 방정식 또는 확률적 경사 하강법을 통해 해결한다.
• 기존의 벡터 공간 의미론에서의 함자를 조합하여, 의미 정보를 프레임워크에 통합하는 것을 제안한다.

실험 결과

연구 질문

• RQ1 범주론적 구조를 사용하여 형식 문법을 증분 오토마타로 체계적으로 매핑할 수 있는가?
• RQ2 임의의 반환기 $\mathbb{S}$ 에 대해 $\mathbb{S}$-모나이드 문법에서 가중치가 부여된 오토마타 코알제브라로의 함자를 정의할 수 있는가?
• RQ3 확률적 언어 모델을 사용하여 증분 구문 분석을 통해 모나이드 문법의 가중치를 유추할 수 있는가?
• RQ4 최대 구문 상태는 증분 구문 분석에서 가능도를 정의하는 데 어떤 역할을 하는가?
• RQ5 의미 정보는 증분 모나이드 문법의 범주론적 프레임워크에 어떻게 통합될 수 있는가?

주요 결과

• 논문은 가중치가 부여된 오토마타 함자의 코알제브라로의 $\mathbb{S}$-모나이드 문법에서의 함자 $\mathcal{I}$ 를 구성하여 증분 구문 분석을 가능하게 한다.
• 최대 구문 상태 가능도 $pr_M(p)$ 는 부분적 구문 상태 $p$ 가 완성된 문장에서 최대가 될 가능도를 정량화한다.
• $\mathbb{R}_{\geq 0}$-모나이드 문법의 학습 목표는 로그-확률에 대한 선형 회귀 문제로 공식화되며, 경사 하강법을 통해 해결할 수 있다.
• 필요한 경우, 확률적 경사 하강법을 사용하여 유한하거나 무한한 구문 상태 집합에서의 학습을 지원한다.
• 이 접근은 현대 NLP에서 사용되는 DisCoCat 스타일의 구문과 확률적 언어 모델을 연결하는 범주론적 기반을 제공한다.
• 미래 작업으로는 문법과 오토마타 범주 간의 애드지션을 제안하며, 더 깊은 구조적 연결성을 암시한다.