[論文レビュー] Question Embeddings Based on Shannon Entropy - Solving intent classification task in goal-oriented dialogue system

Aleksandr Perevalov, Даниил Сергеевич Курушин+2 more|arXiv (Cornell University)|Mar 4, 2019

Topic Modeling参考文献 8被引用数 2

ひとこと要約

本稿では、低リソースでドメイン特化型の対話システムにおける意図分類を改善するため、シャノンエントロピーに基づく新しい質問埋め込み手法を提案する。データセット内の語のエントロピー分布を計算し、切り捨てられた特異値分解（SVD）を適用することで、コンパクトで密なベクトルを生成する。この手法は、TF-IDF や word2vec や FastText よりも優れた性能を示し、たった 1,300 件のラベル付き例しかない学生質問データセットにおいて、F1 スコアが 2% 高い結果を達成した。

ABSTRACT

Question-answering systems and voice assistants are becoming major part of client service departments of many organizations, helping them to reduce the labor costs of staff. In many such systems, there is always natural language understanding module that solves intent classification task. This task is complicated because of its case-dependency - every subject area has its own semantic kernel. The state of art approaches for intent classification are different machine learning and deep learning methods that use text vector representations as input. The basic vector representation models such as Bag of words and TF-IDF generate sparse matrixes, which are becoming very big as the amount of input data grows. Modern methods such as word2vec and FastText use neural networks to evaluate word embeddings with fixed dimension size. As we are developing a question-answering system for students and enrollees of the Perm National Research Polytechnic University, we have faced the problem of user's intent detection. The subject area of our system is very specific, that is why there is a lack of training data. This aspect makes intent classification task more challenging for using state of the art deep learning methods. In this paper, we propose an approach of the questions embeddings representation based on calculation of Shannon entropy.The goal of the approach is to produce low dimensional question vectors as neural approaches do and to outperform related methods, described above in condition of small dataset. We evaluate and compare our model with existing ones using logistic regression and dataset that contains questions asked by students and enrollees. The data is labeled into six classes. Experimental comparison of proposed approach and other models revealed that proposed model performed better in the given task.

研究の動機と目的

• 限られたラベル付きデータしかない低リソースでドメイン特化型の対話システムにおける意図分類の課題に対処すること。
• 深層学習モデルのデータ集約的特性を避ける、密で低次元のテキスト表現手法を開発すること。
• データ不足の状況下で、古典的（TF-IDF）および現代的（word2vec、FastText）な埋め込み手法を上回る意図分類性能を達成すること。
• 次元削減を実現しながらも意味的整合性を保ちつつ、スケーラブルで効率的なベクトル表現を構築すること。

提案手法

• 手法は、データセットに含まれるすべての質問における各語の分布のシャノンエントロピーを計算する。
• 語のベクトルはエントロピー値に基づいて構築され、ニューラルネットワークを用いずに文脈的な意味的パターンを捉える。
• エントロピーに基づく行列の次元を 200 次元に削減するために、切り捨てられた特異値分解（SVD）が適用される。
• 各質問内のエントロピーに基づく語のベクトルの平均値をとることで、質問の埋め込みが形成される。
• 最終的なベクトル表現は、1 対すべての戦略を用いたロジスティック回帰分類器の入力として使用される。
• 手法の評価には 5 折り交差検証と F1 スコアを主な指標として用いた。

実験結果

リサーチクエスチョン

• RQ1 小さなドメイン特化型データセットにおいて、シャノンエントロピーに基づく埋め込み手法は、TF-IDF や word2vec や FastText よりも優れた意図分類性能を達成できるか？
• RQ2 TF-IDF よりも顕著に次元を削減したとしても、エントロピーに基づく手法は高い性能を維持できるか？
• RQ3 バランスの取れたクラスを有する一般用途のデータセット（例：IMDBレビュー）において、この手法はどのように性能を発揮するか？
• RQ4 低リソース環境におけるクラス不均衡問題に対し、この手法は効果的に対処できるか？
• RQ5 エントロピーに基づく表現は、さまざまな自然言語処理タスクにわたって頑健で汎用的であるか？

主な発見

• 提案されたシャノンエントロピー手法は、学生質問データセットで F1 スコア 0.74 を達成し、TF-IDF（0.72）、word2vec（0.67）、FastText（0.63）を上回った。
• 同じデータセットにおいて、TF-IDF よりも 2% 高い F1 スコアを記録し、word2vec よりも 7% の改善を示した。
• FastText は最も成績が悪く、F1 スコア 0.63 にとどまり、データ不足が主な要因とされる。
• IMDB データセットでは、手法は TF-IDF の F1 スコア 0.90 を同等に達成したが、次元数ははるかに低い（200 対 8,623）。
• エントロピーに基づく表現が、計算コストを大幅に削減しつつも意味情報を効率的に保持できることを示した。
• PRIV クラスはクラス不均衡のためうまく分類されず、今後の研究では分類体系の再設計が求められる。