[論文レビュー] Distributed Word Representation in Tsetlin Machine.

Rohan Kumar Yadav, Lei Jiao+2 more|arXiv (Cornell University)|Apr 14, 2021

Multimodal Machine Learning Applications参考文献 22被引用数 4

ひとこと要約

本稿では、自然言語処理（NLP）のパフォーマンスを向上させつつ解釈可能性を保ちながら、word2vec や GloVe などの事前学習済み単語埋め込みを Tsetlin Machine (TM) に統合する新しい手法を提案する。事前学習済みベクトルから意味的に関連する語を抽出し、入力特徴として用いることで、TM の精度を顕著に向上させ、感情分析や語義の解釈（Word Sense Disambiguation）などのタスクで深層ニューラルネットワークと同等の性能を達成する。

ABSTRACT

Tsetlin Machine (TM) is an interpretable pattern recognition algorithm based on propositional logic. The algorithm has demonstrated competitive performance in many Natural Language Processing (NLP) tasks, including sentiment analysis, text classification, and Word Sense Disambiguation (WSD). To obtain human-level interpretability, legacy TM employs Boolean input features such as bag-of-words (BOW). However, the BOW representation makes it difficult to use any pre-trained information, for instance, word2vec and GloVe word representations. This restriction has constrained the performance of TM compared to deep neural networks (DNNs) in NLP. To reduce the performance gap, in this paper, we propose a novel way of using pre-trained word representations for TM. The approach significantly enhances the TM performance and maintains interpretability at the same time. We achieve this by extracting semantically related words from pre-trained word representations as input features to the TM. Our experiments show that the accuracy of the proposed approach is significantly higher than the previous BOW-based TM, reaching the level of DNN-based models.

研究の動機と目的

• 自然言語処理（NLP）タスクにおいて袋紹介語（BOW）特徴に依存する従来の Tsetlin Machine のパフォーマンス制限を克服すること。
• Tsetlin Machine の解釈可能なフレームワーク内に、word2vec や GloVe などの事前学習済み単語表現を活用できるようにすること。
• NLP タスクにおける精度を顕著に向上させつつ、モデルの解釈可能性を維持すること。
• Tsetlin Machine と深層ニューラルネットワークの間のパフォーマンスギャップを NLP 応用分野で埋めること。

提案手法

• word2vec や GloVe などの事前学習済み単語埋め込みから意味的に関連する語を抽出し、Tsetlin Machine の入力特徴として構成すること。
• 密度的なベクトル表現を、命題論理に基づく学習に適した離散的で意味的に意味のある特徴に変換すること。
• Tsetlin Machine がブール特徴から学習できるという内在的特徴を活用し、これらの導出された意味的特徴に基づいてテキストを分類すること。
• エンドツーエンド学習を避けて Tsetlin Machine の論理的構造を保持することで、解釈可能性を維持すること。
• 得られた特徴セットを、感情分析や語義の解釈（Word Sense Disambiguation）などの標準的な NLP タスクに適用すること。

実験結果

リサーチクエスチョン

• RQ1 解釈可能性を損なわせることなく、事前学習済み単語埋め込みを Tsetlin Machine に効果的に統合できるか？
• RQ2 従来の袋紹介語（BOW）特徴と比較して、事前学習済み埋め込みから導出された意味的特徴を用いた Tsetlin Machine のパフォーマンスはどのように向上するか？
• RQ3 強化された Tsetlin Machine が、NLP タスクにおいてどの程度深層ニューラルネットワークモデルの精度に近づけるか？

主な発見

• 提案手法は、複数の NLP タスクにおいて、ベースラインの BOW に基づく Tsetlin Machine よりも顕著に高い精度を達成する。
• 強化された Tsetlin Machine のパフォーマンスは、感情分析や語義の解釈（Word Sense Disambiguation）において、深層ニューラルネットワークベースのモデルと同等の水準に達する。
• 事前学習済み単語表現の統合により、入力特徴の意味的表現力が向上するが、同時にモデルの解釈可能性は維持される。
• 本手法は、解釈可能なモデルと最先端の深層学習モデルの間のパフォーマンスギャップを、NLP 分野で成功裏に埋め合わせた。