[논문 리뷰] Distilling Text into Circuits

Vincent Wang-Maścianica, Jonathon Liu외 1명|arXiv (Cornell University)|2023. 01. 25.

Natural Language Processing Techniques인용 수 5

한 줄 요약

이 논문은 자연어 텍스트를 텍스트 회로—단어, 문장, 텍스트 수준의 의미를 표현하는 다이어그램적이고 비가환적인 구조—로 번역하는 조합적이고 분포적 프레임워크인 DisCoCirc를 소개한다. 텍스트 회로가 문법적 번거로움을 제거하여 언어 간 및 언어 내 독립성을 가능하게 하고, 언어를 초월해 공간적 및 시각적 영역으로까지 확장되는 생성적이고 수학적으로 엄밀한 의미 모델을 제공함을 보여준다.

ABSTRACT

This paper concerns the structure of meanings within natural language. Earlier, a framework named DisCoCirc was sketched that (1) is compositional and distributional (a.k.a. vectorial); (2) applies to general text; (3) captures linguistic `connections' between meanings (cf. grammar) (4) updates word meanings as text progresses; (5) structures sentence types; (6) accommodates ambiguity. Here, we realise DisCoCirc for a substantial fragment of English. When passing to DisCoCirc's text circuits, some `grammatical bureaucracy' is eliminated, that is, DisCoCirc displays a significant degree of (7) inter- and intra-language independence. That is, e.g., independence from word-order conventions that differ across languages, and independence from choices like many short sentences vs. few long sentences. This inter-language independence means our text circuits should carry over to other languages, unlike the language-specific typings of categorial grammars. Hence, text circuits are a lean structure for the `actual substance of text', that is, the inner-workings of meanings within text across several layers of expressiveness (cf. words, sentences, text), and may capture that what is truly universal beneath grammar. The elimination of grammatical bureaucracy also explains why DisCoCirc: (8) applies beyond language, e.g. to spatial, visual and other cognitive modes. While humans could not verbally communicate in terms of text circuits, machines can. We first define a `hybrid grammar' for a fragment of English, i.e. a purpose-built, minimal grammatical formalism needed to obtain text circuits. We then detail a translation process such that all text generated by this grammar yields a text circuit. Conversely, for any text circuit obtained by freely composing the generators, there exists a text (with hybrid grammar) that gives rise to it. Hence: (9) text circuits are generative for text.

연구 동기 및 목표

• . 기존의 조합적 분포적 프레임워크가 장기간 텍스트에 걸쳐 변화하는 의미를 모델링하는 데에 한계를 보이고 있다는 점을 다루고자 한다.
• . 문법적 형식체계(예: 카테고리어리컬 문법)의 경직성에 기인한 언어별 문법 규칙의 제약을 제거하기 위해 의미를 위한 언어에 종속되지 않는 구조를 도입하고자 한다.
• . 영어의 상당한 분량을 다룰 수 있는 텍스트 회로를 생성하는 최소적이고 목적에 맞춘 하이브리드 문법을 개발하고자 한다.
• . 문법적 텍스트와 의미 회로 사이에 형식적이고 생성적인 연결 고리를 확립하여, 모든 회로가 유효한 텍스트에 대응하고 그 반대도 성립하도록 하고자 한다.
• . 논문은 전통적인 논의 표현 이론을 넘어서, 부사 수식, 대명사 참조와 같은 고차원 언어 현상도 텍스트 회로가 어떻게 모델링할 수 있는지 조사한다.

제안 방법

• . 저자들은 영어의 일부 분량을 위한 하이브리드 문법을 정의하여 문법 규칙과 분포적 의미론을 결합해 텍스트 회로를 생성한다.
• . 단어 순서, 대명사 연결, 어구 범위를 그래픽적 조합을 통해 표현하는 중간 표현으로 텍스트 다이어그램을 도입한다.
• . 텍스트 회로는 대칭 모나드 범주 내의 문자열 다이어그램으로 공식적으로 정의되며, 생성자는 단어와 그 의미를 나타내고, 조합은 문법적 및 의미적 관계를 포착한다.
• . 비가환적 조합을 사용해 텍스트 진행 순서를 유지함으로써, 가환적 그래프 기반 모델과 구별된다.
• . 핵심 기법으로는 범위와 바인딩을 표현하기 위해 '어구 버블'을 사용하여 복잡한 명사구와 대명사의 정확한 해석을 가능하게 한다.
• . 논문은 하이브리드 문법에 의해 생성된 텍스트와 텍스트 회로 사이에 이항 대응 관계가 성립함을 증명하는 주요 정리를 제시한다. 이는 모델의 생성 능력을 확인한다.

실험 결과

연구 질문

• RQ1 . 조합적이고 분포적인 프레임워크는 문장 수준의 의미가 아니라 장기간 텍스트에 걸쳐 변화하는 단어 의미를 어떻게 모델링할 수 있는가?
• RQ2 . 텍스트 회로는 어떤 방식으로 언어별 문법 관례를 제거하여 언어 간 및 언어 내 독립성을 가능하게 하는가?
• RQ3 . 텍스트 회로는 주어진 영어 분량의 모든 유효한 텍스트를 일대일 대응 관계로 생성적으로 표현할 수 있는가?
• RQ4 . 텍스트 회로는 논의 표현 이론과 비교해 부사 수식이나 대명사 참조와 같은 고차원 언어 현상을 어떻게 다루는가?
• RQ5 . 텍스트 회로는 그 구조적 일반성 덕분에 자연어를 초월해 공간적 또는 시각적 추론과 같은 의미 모델링도 어느 정도 수행할 수 있는가?

주요 결과

• . 논문은 텍스트 회로가 텍스트에 대해 생성적임을 입증한다: 하이브리드 문법에 의해 생성된 모든 텍스트는 유일한 텍스트 회로로 변환되며, 자유롭게 조합된 모든 회로는 유효한 텍스트에 대응한다.
• . 텍스트 회로는 단어 순서나 문장 길이와 같은 언어에 종속적인 관례를 추상화함으로써 '문법적 번거로움'을 제거하여 언어 간 독립성을 가능하게 한다.
• . 이 프레임워크는 언어적 모호성과 텍스트 진행에 따른 동적 의미 업데이트를 자연스럽게 수용하며, 조합적 분포적 의미론의 핵심 요구 조건을 충족한다.
• . 모델은 논의 표현의 다이어그램적 실현을 직접 제공하며, 비가환적 조합과 고차원 연산자를 통합함으로써 DRT를 '세밀한 수준'에서 확장한 형태로 기능한다.
• . 비가환적 성격 덕분에 순서에 민감한 의미 효과(예: 농담이나 시간적 추론에서의 의미)를 포착할 수 있는데, 이는 가환적 그래프 모델이 포착할 수 없는 부분이다.
• . 모델은 몬테그의 의미론 정신을 계승하고 있으며, 대수적 조합성을 유지하지만, PROPs를 통한 다대다 출력 구조를 통해 전통적인 대수적 호모모르피즘을 초월해 더 풍부한 의미 조합을 가능하게 한다.