[논문 리뷰] Tsetlin Machine Embedding: Representing Words Using Logical Expressions

Bimal Bhattarai, Ole‐Christoffer Granmo외 3명|arXiv (Cornell University)|2023. 01. 02.

Topic Modeling인용 수 8

한 줄 요약

이 논문은 단어의 희소하고 인간이 해석 가능한 논리 임베딩을 학습하기 위해 Tsetlin Machine 자동인코더를 제안하고, GloVe와의 비교에서 경쟁력 있는 성능을 보여 주며, 신경 임베딩과 하이브리드로 결합했을 때 유리한 결과를 보인다.

ABSTRACT

Embedding words in vector space is a fundamental first step in state-of-the-art natural language processing (NLP). Typical NLP solutions employ pre-defined vector representations to improve generalization by co-locating similar words in vector space. For instance, Word2Vec is a self-supervised predictive model that captures the context of words using a neural network. Similarly, GLoVe is a popular unsupervised model incorporating corpus-wide word co-occurrence statistics. Such word embedding has significantly boosted important NLP tasks, including sentiment analysis, document classification, and machine translation. However, the embeddings are dense floating-point vectors, making them expensive to compute and difficult to interpret. In this paper, we instead propose to represent the semantics of words with a few defining words that are related using propositional logic. To produce such logical embeddings, we introduce a Tsetlin Machine-based autoencoder that learns logical clauses self-supervised. The clauses consist of contextual words like "black," "cup," and "hot" to define other words like "coffee," thus being human-understandable. We evaluate our embedding approach on several intrinsic and extrinsic benchmarks, outperforming GLoVe on six classification tasks. Furthermore, we investigate the interpretability of our embedding using the logical representations acquired during training. We also visualize word clusters in vector space, demonstrating how our logical embedding co-locate similar words.

연구 동기 및 목표

• 직관적으로 이해 가능한 단어 임베딩이dense 벡터가 아닌 인간이 이해할 수 있는 로직에 의존하도록 동기를 부여한다.
• TM 기반 자동인코더를 제안하여 단어 맥락을 나타내는 명제 로직 절들을 학습한다.
• TM 임베딩이 고유적(Intrinsic) 및 외재적(NLP 태스크)에서 GloVe를 능가하거나 일치함을 보인다.
• 학습된 절의 해석가능성을 탐구하고 TM 임베딩 공간에서 단어 클러스터를 시각화한다.

제안 방법

• 단어를 문서 내 단어의 존재 여부를 나타내는 명제 변수로 표현한다.
• 목표 단어 발생을 예측하기 위한 특징으로 작용하는 결합 절의 풀(pool) Cj를 구성한다.
• 절 평가의 가중 합을 통해 출력에 연결되는 가중치 매트리 W를 사용하여 추론을 수행한다.
• 자기감독(Self-supervised) 방식으로 TM 고유 피드백(Type Ia, Type Ib, Type II)을 통해 절 메모리와 가중치를 조정한다.
• 학습된 절에서 가중 임베딩 E와 순수하게 논리적인 임베딩 B를 모두 생성하여 유사도 분석 및 해석가능성 분석을 수행한다.
• Word2Vec, FastText, GloVe와 같은 기초 모델과 대조하여 임베딩을 내재적(단어 유사도 및 분류) 및 외재적( BiLSTM 기반 텍스트 분류) 평가한다.

실험 결과

연구 질문

• RQ1 TM 기반 자동인코더가 대규모 비레이블 텍스트로부터 단어 의미의 압축되고 인간이 해석 가능한 논리 표현을 학습할 수 있는가?
• RQ2 TM 임베딩이 고유적 단어 유사도 및 분류 태스크에서 기존 신경 임베딩과 경쟁할 수 있는가?
• RQ3 TM 임베딩이 GloVe만큼 또는 더 잘 작동하는가, 그리고 신경 임베딩과의 하이브리드가 성능을 향상시키는가?
• RQ4 학습된 절의 해석가능성은 어느 정도이며 단어-맥락 관계를 의미 있게 드러낼 수 있는가?
• RQ5 이 접근법이 대형 어휘로 확장 가능하며 문장/문서 표현으로 확장될 수 있는가?

주요 결과

• TM 임베딩은 단어의 의미를 맥락 리터럴(contextual literals)을 통해 설명하는 약 10%의 절이 연결된 희소한 절 세트를 사용한다.
• 내재적 유사도 태스크에서 TM 임베딩은 GloVe와 경쟁적이며 여러 데이터셋에서 코사인 기반 유사도 평가에서 Word2Vec 및 FastText를 능가한다.
• BiLSTM 분류기를 이용한 외재적 다운스트림 태스크에서 TM 임베딩은 GloVe에 근접하게 성능을 보이며, TM 하이브드(_TM 80% + 20% GloVe_)가 여러 데이터셋(R52, SST-2, SST-5)에서 GloVe를 돋보이게 능가할 수 있다.
• 절 기반 규칙을 통해 해석 가능한 단어 표현을 제공하고 맥락 주도 단어 클러스터의 시각화를 가능하게 한다(예: 건강 관련 클러스터 vs 날씨/지리 클러스터).
• 단어 간 공유 및 구별된 맥락으로 절 수준의 해석가능성을 보여주며(예: 수술과 심장이 건강 관련 절은 공통, 그러나 다른 맥락에서는 차이가 있음).
• 600개의 절, 여유/특이성 설정으로 TM 자동인코더는 대규모 말뭉치(One Billion Word)에서 자기지도 학습을 통해 경쟁력 있는 성능을 보이며, 향후 확장 가능한 하드웨어 고려를 시사한다.