[論文レビュー] Tsetlin Machine Embedding: Representing Words Using Logical Expressions

Bimal Bhattarai, Ole‐Christoffer Granmo+3 more|arXiv (Cornell University)|Jan 2, 2023

Topic Modeling被引用数 8

ひとこと要約

本論文は、単語の sparse で人間が解釈可能な論理埋め込みを学習する Tsetlin Machine オートエンコーダを提案し、下流タスクで GloVe と競合する性能を示し、ニューラル埋め込みとハイブリッドに組み合わせた場合に有利な結果を示す。

ABSTRACT

Embedding words in vector space is a fundamental first step in state-of-the-art natural language processing (NLP). Typical NLP solutions employ pre-defined vector representations to improve generalization by co-locating similar words in vector space. For instance, Word2Vec is a self-supervised predictive model that captures the context of words using a neural network. Similarly, GLoVe is a popular unsupervised model incorporating corpus-wide word co-occurrence statistics. Such word embedding has significantly boosted important NLP tasks, including sentiment analysis, document classification, and machine translation. However, the embeddings are dense floating-point vectors, making them expensive to compute and difficult to interpret. In this paper, we instead propose to represent the semantics of words with a few defining words that are related using propositional logic. To produce such logical embeddings, we introduce a Tsetlin Machine-based autoencoder that learns logical clauses self-supervised. The clauses consist of contextual words like "black," "cup," and "hot" to define other words like "coffee," thus being human-understandable. We evaluate our embedding approach on several intrinsic and extrinsic benchmarks, outperforming GLoVe on six classification tasks. Furthermore, we investigate the interpretability of our embedding using the logical representations acquired during training. We also visualize word clusters in vector space, demonstrating how our logical embedding co-locate similar words.

研究の動機と目的

• 人間が理解しやすいロジックに基づく解釈可能な単語埋め込みを動機づける。密なベクトルよりも人間に理解できるロジックを優先する。
• TM ベースのオートエンコーダを提案し、単語の文脈を表す命題論理節を学習する。
• TM 埋め込みが intrinsic および extrinsic NLP タスクで GloVe を上回る、または同等であることを示す。
• 学習された節の解釈性を探求し、TM 埋め込み空間での単語クラスタを可視化する。

提案手法

• 単語を文書の出現を示す命題変数として表現する。
• ターゲット単語出現を予測する特徴として機能する連言節 Cj のプールを構築する。
• 節を出力に接続する重み行列 W を用い、節の評価の加重和によって推論を可能にする。
• 自己教師あり学習として TM 特有のフィードバック（Type Ia、Type Ib、Type II）で節メモリと重みを調整する。
• 学習した節から重み付き埋め込み E と純粋に論理的な埋め込み B の両方を生成し、類似度と解釈可能性の分析を行う。
• 内在的には埋め込みを評価（語彙類似性と分類）し、外在的には BiLSTM を用いたテキスト分類で Word2Vec、FastText、GloVe などのベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 TM ベースのオートエンコーダは、ラベルなしテキストから語義のコンパクトで人間が解釈可能な論理表現を学習できるか。
• RQ2 TM 埋め込みは intrinsic な語彙類似性・分類タスクで伝統的なニューラル埋め込みと競争力があるか。
• RQ3 TM 埋め込みは GloVe と同様に下流 NLP 分類タスクを効果的にサポートできるか、ニューラル埋め込みとのハイブリッドで改善を生み出せるか。
• RQ4 学習した節の解釈可能性はどの程度で、意味のある語-文脈関係を示せるか。
• RQ5 大規模な語彙にも拡張可能で、文書表現へと拡張できるか。

主な発見

• TM 埋め込みは、語の意味を文脈リテラルの sparse な節集合（全節の約 10% が語と結びつく）で記述する。
• intrinsic な類似性タスクでは TM 埋め込みは GloVe に競り合い、 cosineベースの類似度評価で Word2Vec および FastText を上回るデータセットが複数ある。
• extrinsic な下流タスク（BiLSTM 分類器）では TM 埋め込みは GloVe にほぼ一致し、TM ハイブリッド（TM 80% + GloVe 20%）は R52、SST-2、SST-5 などのデータセットで顕著な上回りを示す。
• 節ベースのルールを通じて解釈可能な語表現を生み出し、文脈駆動の語クラスタの可視化（例：健康関連 vs 天候/地理関連クラスタ）を可能にする。
• 語の共有・差異となる文脈を示すことにより、節レベルの解釈性が示される（例：手術と心臓は健康関連節を共有するが他の文脈は異なる）。
• 600 節、マージン、特異性設定を用い、One Billion Word の大規模コーパスで自己教師あり学習を適用した TM オートエンコーダが競争力のある性能を示し、将来のハードウェアスケーラビリティを示唆。