[논문 리뷰] Zero-training Sentence Embedding via Orthogonal Basis

Ziyi Yang, Chenguang Zhu외 1명|arXiv (Cornell University)|2018. 09. 27.

Topic Modeling참고 문헌 30인용 수 7

한 줄 요약

이 논문은 그람-슈미트 과정에 영감을 받은 직교 기저 구성 방식을 활용해 학습이 필요하고 하이퍼파라미터가 없는 문장 임베딩 방법을 제안한다. 문맥 단어들이 생성하는 부분공간에 대한 관계를 통해 어휘 의미를 모델링하고, 새로운 의미를 직교 기저 벡터로 도입함으로써, 어떤 학습이나 하이퍼파라미터 조정 없이도 11개의 NLP 작업에서 최신 기준 성능을 달성한다.

ABSTRACT

We propose a simple and robust training-free approach for building sentence representations. Inspired by the Gram-Schmidt Process in geometric theory, we build an orthogonal basis of the subspace spanned by a word and its surrounding context in a sentence. We model the semantic meaning of a word in a sentence based on two aspects. One is its relatedness to the word vector subspace already spanned by its contextual words. The other is the word's novel semantic meaning which shall be introduced as a new basis vector perpendicular to this existing subspace. Following this motivation, we develop an innovative method based on orthogonal basis to combine pre-trained word embeddings into sentence representations. This approach requires zero training and zero parameters, along with efficient inference performance. We evaluate our approach on 11 downstream NLP tasks. Experimental results show that our model outperforms all existing zero-training alternatives in all the tasks and it is competitive to other approaches relying on either large amounts of labelled data or prolonged training time.

연구 동기 및 목표

• 대규모 레이블 데이터나 모델 미세조정이 필요 없는 학습이 없는 문장 표현 방법을 개발한다.
• 직교 기저 분해를 통해 벡터 공간 내 기하학적 관계를 활용해 문맥 속 어휘 의미를 모델링한다.
• 모든 하이퍼파라미터 조정 없이도 높은 효율성과 일반화 능력을 유지하는 파rameter-free 방법을 만든다.
• 모든 학습 없이도 기존의 학습이 없는 대안들보다 우수한 성능을 내는가를 확인한다.

제안 방법

• 논문은 그람-슈미트 과정의 원리를 활용해 단어와 그 주변 문맥이 생성하는 부분공간에 대한 직교 기저를 구성한다.
• 단어의 의미 기여도를 기존 문맥 부분공간에 대한 투영과 유일한 의미를 나타내는 새로운 직교 성분의 조합으로 모델링한다.
• 학습 파rameter 없이 사전 학습된 단어 임베딩을 직교 기저 분해를 통해 문장 수준의 표현으로 조합한다.
• 새로운 단어 벡터와 문맥 단어 부분공간 간의 직교성을 강제함으로써 의미의 신규성을 보장한다.
• 최종 문장 임베딩은 직교 기저 벡터에서 유도되며, 문맥 일관성과 의미의 독창성을 모두 유지한다.
• 학습이나 최적화 과정이 전혀 없으며, 이는 순수하게 결정론적이며 계산적으로 효율적인 방법이다.

실험 결과

연구 질문

• RQ1 학습이 필요하고 파rameter가 없는 방법이 레이블 데이터나 미세조정에 의존하지 않고도 경쟁 가능한 문장 표현 성능을 달성할 수 있는가?
• RQ2 사전 학습된 단어 임베딩에서 유도된 직교 기저 구성이 문장 내 문맥 의미를 얼마나 효과적으로 모델링할 수 있는가?
• RQ3 그람-슈미트 직교화와 같은 기하학적 벡터 공간 원리를 활용해 문장 표현 품질을 향상시킬 수 있는가?
• RQ4 이 방법은 다양한 NLP 작업에서 기존의 학습이 없는 대안들보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 방법은 평가한 11개의 모든 하류 NLP 작업에서 기존의 학습이 없는 대안들보다 뛰어난 성능을 기록한다.
• 대규모 레이블 데이터나 긴 학습 시간에 의존하는 모델들과 비교해도 경쟁 가능한 성능을 달성한다.
• 모든 하이퍼파라미터 조정 없이도 다양한 NLP 작업에서 강력한 일반화 능력을 보인다.
• 직교 기저 구성은 문장 표현에서 문맥 일관성과 의미의 독창성을 효과적으로 포착한다.
• 학습 가능한 파rameter가 없고 결정론적 벡터 연산을 사용함으로써 추론 과정이 매우 효율적이다.