[論文レビュー] Measuring the Novelty of Natural Language Text Using the Conjunctive Clauses of a Tsetlin Machine Text Classifier

Bimal Bhattarai, Ole‐Christoffer Granmo+1 more|arXiv (Cornell University)|Nov 17, 2020

Anomaly Detection Techniques and Applications参考文献 18被引用数 4

ひとこと要約

この論文は、Tsetlin Machine (TM) の論理的結合節を活用してテキストの新規性を測定することで、オープンワールドテキスト分類のための新規で解釈可能なアプローチを提案する。入力テキストと一致する節の数を数えることで、未知のクラスと既知のクラスを区別する新規性スコアを生成する。この方法は、5つのデータセットのうち3つで7つのベースラインを上回り、予測の透明性と論理に基づいた説明を提供する。

ABSTRACT

Most supervised text classification approaches assume a closed world, counting on all classes being present in the data at training time. This assumption can lead to unpredictable behaviour during operation, whenever novel, previously unseen, classes appear. Although deep learning-based methods have recently been used for novelty detection, they are challenging to interpret due to their black-box nature. This paper addresses \emph{interpretable} open-world text classification, where the trained classifier must deal with novel classes during operation. To this end, we extend the recently introduced Tsetlin machine (TM) with a novelty scoring mechanism. The mechanism uses the conjunctive clauses of the TM to measure to what degree a text matches the classes covered by the training data. We demonstrate that the clauses provide a succinct interpretable description of known topics, and that our scoring mechanism makes it possible to discern novel topics from the known ones. Empirically, our TM-based approach outperforms seven other novelty detection schemes on three out of five datasets, and performs second and third best on the remaining, with the added benefit of an interpretable propositional logic-based representation.

研究の動機と目的

• 教師ありテキスト分類におけるクローズドワールド仮定の制限を是正すること。ここでは、未知のクラスが処理されると予測不能な挙動を示す。
• 推論時に以前に見られなかったクラスを特定できる解釈可能な新規性検出メカニズムを開発すること。
• Tsetlin Machineの命題論理構造を活用し、テキスト分類において意味的で人間が読みやすいパターン表現を可能にすること。
• 深層学習モデルのブラックボックス性を克服しつつ、解釈性を維持したままテキストにおける新規トピックの強固な検出を可能にすること。

提案手法

• 訓練済みのTsetlin Machineの論理的結合節を用いて、既知のトレーニングデータにおける頻出で顕著なパターンを表現する。
• 入力テキストに対して活性化された節の数を数えることで、新規性スコアを計算する。
• このスコアは、入力が既知のクラスとどの程度整合しているかの代理指標となり、低いスコアは高い新規性を示す。
• 新規性スコアにしきい値を適用して、入力を「既知」または「新規」と分類する。
• より高い耐性を確保するため、新規性スコアを入力として用いた2次的な機械学習分類器を訓練する。
• 5つの多様なテキストデータセットで、TF-IDFベクトル化、PCA、および標準的な前処理を用いてフレームワークを評価する。

実験結果

リサーチクエスチョン

• RQ1 Tsetlin Machineの結合節は、既知のトピックを効果的に表現できるか。その表現が新規トピックの検出を可能にするか。
• RQ2 節ベースの新規性スコアリング機構は、多クラステキスト分類において、従来の外れ値検出法やクラスタリング法と比較してどのように性能を発揮するか。
• RQ3 Tsetlin Machineの論理ベース表現の解釈性は、新規性検出の信頼性をどの程度向上させるか。
• RQ4 本手法は、既知のクラスと新規クラスの間で語彙が重複するデータセットにおいても高い性能を維持できるか。

主な発見

• TMベースのフレームワークは、20 NewsgroupおよびBBC Sportsデータセットで最高の正確度を記録し、それぞれ82.50%および89.47%を達成。両データセットで他のすべての手法を上回った。
• CMU MovieおよびWeb of Scienceデータセットでは、それぞれ第2位および第3位の精度（68.15%および70.37%）を記録。これは、MLPを除けば唯一の上位2位以内の成績である。
• クラスタリングや外れ値検出ベースのベースライン（One-class SVM、Isolation Forest、K-Meansクラスタリング）を、5つのデータセットのうち3つで上回った。
• 既知のクラスと新規クラスの間で明確な意味的差異があるデータセットでは、新規性スコアが良好に分離されており、本手法の優れた識別性能が裏付けられた。
• Web of Scienceデータセットでは、既知のクラスと新規クラスの間で多くの共通語彙を共有していたため、距離ベースの手法に劣った。これは語彙の重複が生じる状況での課題を示している。
• 節の活性化回数を新規性スコアとして用いることで、既知のサンプルと新規のサンプルが明確にクラスタリングされた（図3の可視化を参照）。これにより、本手法の識別力が裏付けられた。