[논문 리뷰] A CCG-Based Version of the DisCoCat Framework

Richie Yeung, Dimitri Kartsaklis|arXiv (Cornell University)|2021. 05. 17.

Natural Language Processing Techniques참고 문헌 22인용 수 17

한 줄 요약

이 논문은 표현력과 확장성의 한계를 극복하기 위해 pregroup 문법을 대체하여 Combinatory Categorial Grammar (CCG)를 사용하는 DisCoCat 프레임워크의 CCG 기반 재구성 방법을 제안한다. CCG를 이중폐쇄 범주로 모델링하고 대칭 compact 폐쇄를 사용해 순서 변경 규칙를 처리함으로써, 기존의 CCG 파서를 활용해 대규모 DisCoCat 실험을 가능하게 하였으며, 'Alice in Wonderland' 전체 텍스트를 DisCoCat 다이어그램으로 변환하여 이를 입증하였다.

ABSTRACT

While the DisCoCat model (Coecke et al., 2010) has been proved a valuable tool for studying compositional aspects of language at the level of semantics, its strong dependency on pregroup grammars poses important restrictions: first, it prevents large-scale experimentation due to the absence of a pregroup parser; and second, it limits the expressibility of the model to context-free grammars. In this paper we solve these problems by reformulating DisCoCat as a passage from Combinatory Categorial Grammar (CCG) to a category of semantics. We start by showing that standard categorial grammars can be expressed as a biclosed category, where all rules emerge as currying/uncurrying the identity; we then proceed to model permutation-inducing rules by exploiting the symmetry of the compact closed category encoding the word meaning. We provide a proof of concept for our method, converting "Alice in Wonderland" into DisCoCat form, a corpus that we make available to the community.

연구 동기 및 목표

• DisCoCat 프레임워크에서 pregroup 문법의 한계를 해결하기 위해, 문맥 자유 언어에 국한되는 표현력과 확장 가능한 파싱 지원이 부족한 문제를 해결한다.
• 표준 CCG 파서가 이용 가능한 경미하게 문맥 의존적인 형식인 Combinatory Categorial Grammar (CCG)로 pregroup를 대체함으로써 대규모 DisCoCat 실험을 가능하게 한다.
• 순서 유지 및 순서 변경을 유도하는 규칙를 포함한 CCG 규칙의 이론적으로 타당한 이중폐쇄 범주 기반 인코딩을 DisCoCat 조합적 의미론 프레임워크 내에서 제공한다.
• 표준 CCG 파서를 사용하여 'Alice in Wonderland' 전체 텍스트를 DisCoCat 다이어그램으로 변환함으로써, 이 방법의 실현 가능성을 입증한다.
• 결과로 생성된 코퍼스와 DisCoCat 다이어그램 생성을 위한 웹 기반 도구를 공개하여 공동 연구 및 실험 지원을 제공한다.

제안 방법

• 표준 문법 규칙이 항등 사상의 currying 및 uncurrying 연산에서 자연스럽게 유도되는 이중폐쇄 범주로 CCG를 모델링한다.
• 대칭 isomorphism을 통해 순서 변경 규칙(예: 교차 복합)을 의미론의 compact 폐쇄 범주에서 표현함으로써 효율적인 선로 스위칭 표현을 가능하게 한다.
• 원자적 유형, 단어, CCG 규칙를 기반으로 생성된 자유 이중폐쇄 범주에서 유한 차원 벡터 공간의 범주(FdVect)로의 닫힌 모나드 함자(functor)를 정의한다.
• 단어 의미를 텐서로 표현하고 문장 의미를 텐서 수축으로 표현하며, 문법 유도 과정을 함자적 매핑을 통해 스트링 다이어그램으로 매핑한다.
• 의미론의 범주에서 대칭성을 활용하여 비표준 어순과 교차 순서 의존성을 선로 순서 변경을 통해 인코딩함으로써, 명시적 유형 확장을 피한다.
• 표준 CCG 파서(Yoshikawa 등 2017)를 사용하여 문법적 구조를 유도한 후, 제안된 범주적 매핑을 통해 이를 DisCoCat 다이어그램으로 변환한다.

실험 결과

연구 질문

• RQ1 표현론적 범주 이론을 사용하여 Combinatory Categorial Grammar (CCG)를 DisCoCat 프레임워크에 공식적으로 통합할 수 있는가? 이는 pregroup 문법의 대체를 포함한다.
• RQ2 CCG의 순서 변경 규칙(예: 교차 복합)을 대칭 compact 폐쇄 의미론 범주에 효율적으로 인코딩할 수 있는가?
• RQ3 CCG 기반 DisCoCat 프레임워크는 pregroup가 다룰 수 없는 영역을 초월하여 교차 순서 의존성과 같은 비문맥 자유 구조를 모델링할 수 있는가?
• RQ4 기존의 강력한 CCG 파서를 사용하여 다양한 문법적 구조를 가진 대규모 실세계 코퍼스에 대해 DisCoCat 실험을 효과적으로 확장할 수 있는가?
• RQ5 결과로 생성된 DisCoCat 다이어그램는 언어적 표현력과 계산의 실현 가능성을 유지하면서 조합적 문장 의미를 얼마나 잘 계산할 수 있는가?

주요 결과

• 저자들은 CCG를 문법적 기초로 사용하는 DisCoCat의 재구성에 성공하여, 교차 순서 의존성과 같은 경미하게 문맥 의존적인 현상을 모델링할 수 있게 되었다.
• 이중폐쇄 범주를 사용함으로써 CCG의 표준 문법 규칙(예: 유형 상향, 복합)이 currying 및 uncurrying 연산을 통해 자연스럽고 공식적인 방식으로 표현된다.
• CCG의 순서 변경 규칙는 의미론의 범주에서 대칭 isomorphism을 통해 효율적으로 인코딩되며, 선로 스위칭을 통해 어순 변경을 표현함으로써 기저의 텐서 구조를 변경하지 않는다.
• 저자들은 표준 CCG 파서를 사용하여 'Alice in Wonderland' 전체 텍스트를 DisCoCat 다이어그램으로 변환함으로써 방법의 실현 가능성을 입증하였으며, 이는 첫 번째 대규모 공개 가능한 DisCoCat 코퍼스이다.
• 모든 문장을 DisCoCat 다이어그램으로 변환할 수 있는 웹 기반 도구를 공개하여 공동 연구 및 실험에 대한 보다 넓은 접근성을 제공한다.