[논문 리뷰] Conversational Negation using Worldly Context in Compositional Distributional Semantics

Benjamin Rodatz, Razin A. Shaikh외 1명|arXiv (Cornell University)|2021. 05. 12.

Topic Modeling참고 문헌 28인용 수 4

한 줄 요약

이 논문은 구성적 분포 의미론에서 대화적 부정을 위한 새로운 프레임워크를 제안하며, 세계적 맥락(사전 지식)과 논리적 부정 연산을 통합한다. 행렬 역행렬 기반의 부정을 도입하고, 단어의 기저에서 부정 기반의 프레이저(phasor)를 적용할 경우 인간의 타당성 평가와 가장 높은 상관관계(0.635)를 보이며, 순수한 논리적 부정보다 유의하게 향상됨을 입증한다.

ABSTRACT

We propose a framework to model an operational conversational negation by applying worldly context (prior knowledge) to logical negation in compositional distributional semantics. Given a word, our framework can create its negation that is similar to how humans perceive negation. The framework corrects logical negation to weight meanings closer in the entailment hierarchy more than meanings further apart. The proposed framework is flexible to accommodate different choices of logical negations, compositions, and worldly context generation. In particular, we propose and motivate a new logical negation using matrix inverse. We validate the sensibility of our conversational negation framework by performing experiments, leveraging density matrices to encode graded entailment information. We conclude that the combination of subtraction negation and phaser in the basis of the negated word yields the highest Pearson correlation of 0.635 with human ratings.

연구 동기 및 목표

• 순수한 논리적 부정이 분포 의미론에서 인간과 유사한 부정 직관을 포착하지 못하는 한계를 해결하기 위해.
• 대화적 부정을 인간의 타당성 판단을 반영하는 운영 과정으로 모델링하기 위해, 단지 논리적 부정이 아닌 것을 목적으로 한다.
• 단어 간 관계와 함의 계층 구조에서 유도된 세계적 맥락을 부정 과정에 통합하여 의미의 타당성을 향상시키기 위해.
• 인간 평가 기반 타당성 데이터와 등급 함의의 밀도 행렬 표현을 사용하여 프레임워크를 검증하기 위해.
• 미래의 문장 및 텍스트로의 확장에 대비해 DisCoCirc와 호환되는 모듈형이고 확장 가능한 프레임워크를 구축하기 위해.

제안 방법

• 벡터 공간 내의 구조적 관계를 유지하는 능력에 기반해, 행렬 역행렬을 활용한 새로운 논리적 부정 연산을 제안한다.
• WordNet의 하위어 및 밀도 행렬 함의 기반으로 세계적 맥락 생성 방법을 도입하며, 맥락 함수로 $\texttt{poly}_x(i)$, $\texttt{exp}_x(i)$, $\texttt{hyp}_x(i)$ 를 사용한다.
• 부정된 단어의 기저에서 프레이저 연산을 적용하여 함의 거리에 따라 맥락의 가중치를 조정함으로써 타당성 모델링을 향상시킨다.
• 인간 평가와의 상관관계를 평가하기 위해 트레이스 유사도 및 함의 기반 측정법($k_{\textsf{E}}$, $k_{\textsf{hyp}}$)을 사용한다.
• 밀도 행렬을 사용해 등급 함의 정보를 인코딩함으로써 의미 유사성과 계층 구조를 세밀하게 모델링할 수 있도록 한다.
• 인간 타당성 평가 데이터셋을 사용하여, 부정 유형, 조합 방법, 기저, 맥락 함수의 조합을 비교함으로써 프레임워크를 검증한다.

실험 결과

연구 질문

• RQ1 세계적 맥락은 분포 의미론에서 논리적 부정된 단어 의미의 타당성을 향상시킬 수 있는가?
• RQ2 논리적 부정, 조합 방법, 맥락 함수의 어떤 조합이 인간의 타당성 판단과 가장 높은 상관관계를 보이는가?
• RQ3 행렬 역행렬 기반의 부정은 기존의 항등원에서의 뺄셈과 같은 논리적 부정 방법보다 우월하거나 보완적인가?
• RQ4 기저의 선택(예: 단어 기저 vs. 기타)이 대화적 부정의 성능에 어떤 영향을 미치는가?
• RQ5 하위어 거리와 함의 강도를 통합한 맥락 함수는 인간과 유사한 대안 선택을 부정에서 더 잘 모델링할 수 있는가?

주요 결과

• 뺄셈 부정($\neg_{\text{sub}}$)과 부정된 단어의 기저에서의 프레이저 조합이 인간 타당성 평가와 가장 높은 피어슨 상관관계 0.635를 기록함.
• 다항식, 지수함수, 하위어 기반의 세 맥락 함수 모두 동일한 최대 상관관계 0.635를 달성하여 기능 형태에 대해 강건함을 입증함.
• WordNet 하위어 거리를 통합한 맥락 함수 $\texttt{hyp}_x(i)$ 는 $x=0$일 때도 (상관관계 0.581) 잘 작동하여 함의 기반 맥락의 가치를 보여줌.
• 트레이스 유사도와 $k_{\textsf{E2}}$ 함의 측정법이 대화적 부정과 가장 강한 상호작용을 보이며, 각각 0.635와 0.602의 상관관계를 기록함.
• 원래 단어에서 부정된 의미($w_N$)로의 함의 방향이 반대 방향보다 더 우수한 성능을 보이며, 이는 $w_N$ 이 $w_A$ 의 대안으로 간주되어야 함을 시사함.
• 논리적 부정만으로는 부족하며, 인간이 직관적으로 인식하는 부정 결과를 도출하기 위해 세계적 맥락이 필수적임을 프레임워크가 입증함.