[논문 리뷰] Exploring Semantic Incrementality with Dynamic Syntax and Vector Space Semantics

Mehrnoosh Sadrzadeh, Matthew Purver외 2명|arXiv (Cornell University)|2018. 11. 01.

Natural Language Processing Techniques참고 문헌 24인용 수 6

한 줄 요약

이 논문은 동적 문법(Dynamic Syntax, DS)을 위한 구성적 벡터 공간 의미론을 제안하며, 텐서 수축을 통해 증분적 구문 분석과 분포적 의미론을 통합한다. 이는 단어별 의미 다의성 해소와 문장 이어짐의 타당성 점수를 가능하게 하며, 말이 흘러감에 따라 의미의 타당성이 증분적으로 계산될 수 있음을 보여주어 대화에서 예측 처리를 뒷받침한다.

ABSTRACT

One of the fundamental requirements for models of semantic processing in dialogue is incrementality: a model must reflect how people interpret and generate language at least on a word-by-word basis, and handle phenomena such as fragments, incomplete and jointly-produced utterances. We show that the incremental word-by-word parsing process of Dynamic Syntax (DS) can be assigned a compositional distributional semantics, with the composition operator of DS corresponding to the general operation of tensor contraction from multilinear algebra. We provide abstract semantic decorations for the nodes of DS trees, in terms of vectors, tensors, and sums thereof; using the latter to model the underspecified elements crucial to assigning partial representations during incremental processing. As a working example, we give an instantiation of this theory using plausibility tensors of compositional distributional semantics, and show how our framework can incrementally assign a semantic plausibility measure as it parses phrases and sentences.

연구 동기 및 목표

• 현재 다의성과 기대 기반 처리를 다룰 수 있는 메커니즘이 없는 동적 문법(DS)에서 증분적이고 등급화된 의미 해석의 부족을 해결하기 위해.
• DS를 구성적 분포적 의미론으로 확장하여, 해석 과정 중에 증분적으로 변화하는 비결정적이고 벡터 기반의 의미 표현을 가능하게 하기 위해.
• 청자들이 문맥 기반으로 실시간으로 단어의 의미를 다의성 해소하고 문장 이어짐의 타당성을 평가할 수 있는 방식을 모델링하기 위해.
• DS 트리 노드에 벡터와 텐서를 장식함으로써 등급화된 유사도와 타당성 판단이 가능한 형식적 프레임워크를 제공하기 위해.
• 목표 지향적 텐서 포함 관계를 포함한 파싱 메커니즘 확장을 통해 대화 시스템에서 증분적 생성을 위한 기반을 마련하기 위해.

제안 방법

• 동적 문법 트리에 의미 벡터와 텐서를 장식하며, 조합은 텐서 수축을 통해 모델링되어 구성적 의미 구축이 가능하다.
• 단어 의미는 벡터 또는 의미 벡터의 혼합으로 표현되며, 다의어는 여러 벡터 표현을 할당받는다.
• 구문과 문장의 타당성은 분포적 의미론에서 유도된 타당성 텐서를 사용하여 계산되며, 문장 완성 이전에도 의미의 일관성에 대한 증분적 평가가 가능하다.
• 부분적 표현을 결합하기 위해 합기반 방법을 사용하여 문장 완성 이전에도 의미 타당성의 조기 평가가 가능하다.
• 문맥이 파싱됨에 따라 다양한 의미 해석의 타당성을 비교함으로써 증분적 의미 다의성 해소를 지원한다.
• 이 방법은 임의의 벡터 공간 의미론으로 일반화되며, 특히 클락(Clarke, 2013b)의 문장 조합을 위한 타당성 텐서를 사용한 특정 구현이 가능하다.

실험 결과

연구 질문

• RQ1 동적 문법은 구성적 분포적 의미론으로 확장되어 증분적이고 단어별 의미 조합을 지원할 수 있는가?
• RQ2 문장 완성 이전에도 파싱 과정 중에 의미 타당성이 증분적으로 계산될 수 있는가?
• RQ3 완전한 문장 해석 이전에 즉각적인 문법적·의미적 문맥 기반으로 단어 의미를 다의성 해소할 수 있는가?
• RQ4 부분적 입력과 벡터 기반 유사도 측정을 사용하여 모델이 타당한 문장 이어짐을 예측할 수 있는 정도는 어느 정도인가?
• RQ5 동일한 형식론이 대화 시스템에서 증분적 해석과 미래의 증분적 생성을 모두 지원할 수 있는가?

주요 결과

• 모델은 각 단어가 파싱될 때마다 의미 타당성 측정을 증분적으로 할당하여, 주어의 문맥 기반으로 다의어 'dribble'의 의미 다의성 해소를 조기에 가능하게 한다.
• 'Footballers dribble' 문장에서 'control the ball'은 'dribble'의 의미로 'drip'보다 더 타당하다고 계산되며, 반대로 'Babies dribble'에서는 반대의 결과가 나타난다.
• 'The police tapped his phone' 문장에서 'intercepted'는 주어와 동사와 조합될 때 'knocked'보다 더 타당하다고 나타나며, 목적어가 파싱됨에 따라 타당성이 증가한다.
• 모델는 타당한 이어짐을 예측할 수 있다: 'Footballers dribble' 이후 'ball'은 매우 타당한 반면, 'milk'는 타당하지 않으며, 이는 인간과 유사한 기대 형성 반영한다.
• 모델는 실시간으로 잠재적 이어짐의 타당성 값을 계산하고 추적함으로써 증분적 기대 형성에 기여하며, 예측 처리 이론과 일치한다.
• 이 프레임워크는 임의의 벡터 공간 의미론으로 일반화되며, 목표 텐서와 텐서 포함 관계를 사용한 증분적 생성 확장을 위한 기반을 제공한다.