[논문 리뷰] Correcting the Common Discourse Bias in Linear Representation of Sentences using Conceptors

Tianlin Liu, João Sedoc외 1명|arXiv (Cornell University)|2018. 11. 17.

Topic Modeling참고 문헌 14인용 수 8

한 줄 요약

이 논문은 선형 문장 임베딩에서 흔히 발생하는 공통적 논의 편향을 수정하기 위해 Conceptors를 사용하는 새로운 소프트 프로젝션 방법을 제안한다. 여기서 단어 벡터의 주성분이 문장 표현을 왜곡하는 문제가 발생한다. 정규화된 항등 맵(Conceptor)을 적용하여 지배적인 방향을 가중치를 낮춰, 임베딩의 정규화된 표현을 개선함으로써 임상 NLP 과제에서 의미적 유사도 성능을 향상시킨다. 이는 BioCreative/OHNLP 챌린지 2018에서 표준 SIF 기반 접근법을 능가한다.

ABSTRACT

Distributed representations of words, better known as word embeddings, have become important building blocks for natural language processing tasks. Numerous studies are devoted to transferring the success of unsupervised word embeddings to sentence embeddings. In this paper, we introduce a simple representation of sentences in which a sentence embedding is represented as a weighted average of word vectors followed by a soft projection. We demonstrate the effectiveness of this proposed method on the clinical semantic textual similarity task of the BioCreative/OHNLP Challenge 2018.

연구 동기 및 목표

• 선형 문장 표현에서 지배적인 단어 벡터 방향이 노이즈를 증폭시키고 의미 신호를 억압하는 공통적 논의 편향을 해결하기 위해.
• 문장 임베딩 방법에서 경직된 주성분 제거 방식에 대한 소프트, 미분 가능한 대안을 개발하기 위해.
• Conceptors를 사용하여 문장 표현을 정교화함으로써 임상 의미적 텍스트 유사도 과제에서 성능을 향상시키기 위해.
• Conceptors가 데이터셋 전반에 걸쳐 공통된 언어적 배경(예: 기능어 및 빈도 높은 비내용어)을 효과적으로 모델링할 수 있는지 확인하기 위해.

제안 방법

• 이 방법은 단어 벡터의 주성분에서 멀어지도록 소프트로 프로젝션하는 regularized identity map인 Conceptor를 사용한다.
• Conceptor는 실제 문장의 단어 벡터와 사전 정의된 정지어 집합의 단어 벡터를 조합하여 학습함으로써 공통된 논의 구성요소를 포착한다.
• Conceptor 행렬 G는 주어진 방향을 억압하는 프로젝션을 근사하기 위해 정규화된 최소 제곱 해법을 통해 계산된다.
• 문장 임베딩는 빈도 기반 가중치(a/(a + p(w)))를 사용해 단어 벡터의 가중 평균으로 먼저 형성되며, 이후 학습된 Conceptor를 통해 프로젝션된다.
• 이 방법은 SIF와 다름없이 첫 번째 주성분을 하드하게 제거하는 것이 아니라, 학습된 적응형 소프트 프로젝션을 사용한다.
• 최종 문장 임베딩는 가중 평균된 단어 벡터에 Conceptor 행렬을 적용하여 공통된 논의 구성요소를 효과적으로 제거함으로써 도출된다.

실험 결과

연구 질문

• RQ1 SIF와 유사하게, 경직된 주성분 제거 방식에 비해 Conceptors와 같은 소프트, 미분 가능한 프로젝션 메커니즘이 문장 임베딩의 논의 편향을 보다 효과적으로 수정할 수 있는가?
• RQ2 Conceptor 학습 과정에 정지어와 빈도 높은 비내용어를 포함시키는 것이 표현 품질에 어떤 영향을 미치는가?
• RQ3 특히 의미적 텍스트 유사도 과제에서, SIF에 비해 Conceptors 기반 방법이 도메인 외부의 임상 텍스트에 더 잘 일반화되는가?
• RQ4 명시적 주석이나 복잡한 아키텍처 없이 Conceptors가 코퍼스의 공통 언어적 배경을 효과적으로 모델링할 수 있는가?

주요 결과

• Conceptor 기반 방법은 BioCreative/OHNLP 챌린지 2018의 임상 STS 데이터셋에서 표준 SIF 접근법을 능가하여 더 높은 슔피어만 순서 상관계수를 달성한다.
• 문장의 단어 벡터와 정지어 집합을 모두 사용해 학습한 Conceptors는 문장 벡터만으로 학습한 경우보다 더 뛰어난 성능을 발휘한다.
• 심층 신경망을 요구하지 않음에도 불구하고 강력한 성능을 기록하여, 적절한 편향 보정을 통해 단순 선형 모델도 크게 향상시킬 수 있음을 보여준다.
• 제안된 방법은 단어 벡터 공간에서 지배적인 비의미적 방향을 소프트하게 억압함으로써 의미적 유사도 모델링을 향상시킨다.