[論文レビュー] Explicit Interaction Model towards Text Classification

Cunxiao Du, Zhaozheng Chin+4 more|arXiv (Cornell University)|Nov 23, 2018

Topic Modeling参考文献 17被引用数 13

ひとこと要約

本稿では、入力トークンとクラスラベルの間の単語レベルの相互作用を相互作用機構を介して明示的にモデル化する新しいテキスト分類フレームワークEXAMを提案する。従来のテキストレベル符号化モデルと比較して性能が向上する。相互作用行列を通じて微細なマッチング信号を学習することで、マルチクラスおよびマルチラベルベンチマークの両方で最先端の結果を達成し、分類における単語レベルの手がかりの重要性を示している。

ABSTRACT

Text classification is one of the fundamental tasks in natural language processing. Recently, deep neural networks have achieved promising performance in the text classification task compared to shallow models. Despite of the significance of deep models, they ignore the fine-grained (matching signals between words and classes) classification clues since their classifications mainly rely on the text-level representations. To address this problem, we introduce the interaction mechanism to incorporate word-level matching signals into the text classification task. In particular, we design a novel framework, EXplicit interAction Model (dubbed as EXAM), equipped with the interaction mechanism. We justified the proposed approach on several benchmark datasets including both multi-label and multi-class text classification tasks. Extensive experimental results demonstrate the superiority of the proposed method. As a byproduct, we have released the codes and parameter settings to facilitate other researches.

研究の動機と目的

• 深層ニューラルネットワークがテキスト分類において、テキストレベルの表現に依存するのみで、微細な単語-クラスマッチング信号を無視するという限界を是正すること。
• 入力語とクラスラベルの間の単語レベルの相互作用信号を明示的に捉えるフレームワークを開発し、分類性能の向上を図ること。
• 提案手法の有効性をマルチクラスおよびマルチラベルテキスト分類タスクの両方で検証すること。
• 再現可能性およびコミュニティにおけるさらなる研究を支援するため、コードとハイパーパrameterを公開すること。

提案手法

• フレームワークは3つのコンponentで構成される：単語レベルエンコーダ、相互作用層、集約層。
• 単語レベルエンコーダ（例：GRUまたはリージョン埋め込み）は、入力テキストを密な単語表現に変換する。
• 相互作用層は、単語表現とクラス表現の間のドット積を用いてマッチングスコア行列を計算し、相互作用行列を形成する。
• 相互作用行列の各エントリは、単語-クラスマッチングスコアを表し、微細な関連性シグナルを捉える。
• 集約層は、単語 across の相互作用スコアを組み合わせて、各クラスの最終予測を生成する。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで訓練され、単語レベルの相互作用と分類の両方が同時に最適化可能となる。

実験結果

リサーチクエスチョン

• RQ1 テキストレベルの符号化を越えて、単語レベルの相互作用シグナルを明示的にモデル化することで、テキスト分類の性能が向上するか？
• RQ2 マルチクラスおよびマルチラベル設定において、相互作用機構は従来の符号化ベースのモデルと比較してどのように異なるか？
• RQ3 分類において、グローバルなテキストレベル表現に比べて、単語レベルのマッチングシグナルはどの程度の寄与を果たすか？
• RQ4 異なる相互作用関数やアーキテクチャは、提案されたフレームワークにおける性能にどのように影響を与えるか？

主な発見

• EXAMは、マルチクラスおよびマルチラベルテキスト分類タスクの両方で、複数のベンチマークデータセットにおいて最先端のモデルを上回る性能を達成した。
• わずかなアーキテクチャ的変更、例えばTextRNNの軽微な適合でも、モデルは優れた性能を発揮した。
• 相互作用特徴の可視化では、異なるクラスが異なる語に注目していることが明らかになった — 例：'Second-hand Car' に対して 'Second-hand TIIDA'、'Autocar Conversation' に対して 'got some problems'。
• 相互作用機構は、意味的でクラス固有の単語レベルのシグナルを効果的に学習できており、可視化例では唯一1件の誤分類が観察された。
• 結果から、与えられたタスクにおいて、単語レベルの相互作用特徴はグローバルなテキストレベル表現よりも情報量が多いことが確認された。