[논문 리뷰] Distributed Word Representation in Tsetlin Machine.

Rohan Kumar Yadav, Lei Jiao외 2명|arXiv (Cornell University)|2021. 04. 14.

Multimodal Machine Learning Applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 사전에 훈련된 단어 임베딩(예: word2vec, GloVe)을 Tsetlin Machine(TM)에 통합하는 새로운 방법을 제안하여 자연어 처리(NLP) 성능을 햖थी면서도 해석 가능성은 유지한다. 사전에 훈련된 벡터에서 의미적으로 관련된 단어들을 추출하여 입력 특징으로 활용함으로써, 모델의 정확도가 크게 향상되며, 감성 분석 및 단어의 의미 해석 분리(WSD)와 같은 과제에서 딥 뉴럴 네트워크 수준의 성능을 달성한다.

ABSTRACT

Tsetlin Machine (TM) is an interpretable pattern recognition algorithm based on propositional logic. The algorithm has demonstrated competitive performance in many Natural Language Processing (NLP) tasks, including sentiment analysis, text classification, and Word Sense Disambiguation (WSD). To obtain human-level interpretability, legacy TM employs Boolean input features such as bag-of-words (BOW). However, the BOW representation makes it difficult to use any pre-trained information, for instance, word2vec and GloVe word representations. This restriction has constrained the performance of TM compared to deep neural networks (DNNs) in NLP. To reduce the performance gap, in this paper, we propose a novel way of using pre-trained word representations for TM. The approach significantly enhances the TM performance and maintains interpretability at the same time. We achieve this by extracting semantically related words from pre-trained word representations as input features to the TM. Our experiments show that the accuracy of the proposed approach is significantly higher than the previous BOW-based TM, reaching the level of DNN-based models.

연구 동기 및 목표

• 자연어 처리(NLP) 과제에서 백오브워드(BOW) 특징에 의존하는 전통적인 Tsetlin Machine의 성능 한계를 극복하기 위해.
• word2vec 및 GloVe와 같은 사전에 훈련된 단어 표현을 Tsetlin Machine의 해석 가능한 프레임워크 내에서 사용할 수 있도록 하기 위해.
• NLP 과제에서 정확도를 크게 향상시키면서도 모델의 해석 가능성 유지하기 위해.
• Tsetlin Machine과 딥 뉴럴 네트워크 간의 성능 격차를 NLP 응용 분야에서 해소하기 위해.

제안 방법

• word2vec, GloVe 등 사전에 훈련된 단어 임베딩에서 의미적으로 관련된 단어들을 추출하여 Tsetlin Machine의 입력 특징으로 구성하기.
• 밀도 있는 벡터 표현을 문맥적으로 의미 있는 이산적 특징으로 변환하여 문맥 기반의 불리안 논리 기반 학습에 적합하게 만들기.
• Tsetlin Machine의 불리안 특징 기반 학습 능력을 활용하여 유도된 의미적 특징을 바탕으로 텍스트를 분류하기.
• 엔드 투 엔드 학습을 피하고 Tsetlin Machine의 논리적 구조를 유지함으로써 해석 가능성 유지하기.
• 결과로 도출된 특징 집합을 감성 분석 및 단어의 의미 해석 분리(WSD)와 같은 표준 NLP 과제에 적용하기.

실험 결과

연구 질문

• RQ1 해석 가능성 손실 없이 사전에 훈련된 단어 임베딩를 Tsetlin Machine에 효과적으로 통합할 수 있는가?
• RQ2 기존의 백오브워드(BOW) 특징 대비 사전에 훈련된 임베딩에서 유도된 의미적 특징을 사용할 경우 Tsetlin Machine의 성능은 어떻게 향상되는가?
• RQ3 향상된 Tsetlin Machine이 NLP 과제에서 딥 뉴럴 네트워크 기반 모델의 정확도에 얼마나 가까이 도달할 수 있는가?

주요 결과

• 제안된 방법은 다양한 NLP 과제에서 기존의 BOW 기반 Tsetlin Machine 대비 유의미하게 높은 정확도를 달성한다.
• 향상된 Tsetlin Machine의 성능은 감성 분석 및 단어의 의미 해석 분리(WSD) 과제에서 딥 뉴럴 네트워크 기반 모델과 비교해 유사한 수준에 도달한다.
• 사전에 훈련된 단어 표현의 통합은 입력 특징의 의미적 표현력을 향상시키면서도 모델의 해석 가능성은 유지한다.
• 이 방법은 해석 가능한 모델과 최신 딥 러닝 모델 간의 성능 격차를 NLP 분야에서 성공적으로 메운다.