[論文レビュー] Auto Analysis of Customer Feedback using CNN and GRU Network

Deepak Gupta, Pabitra Lenka+3 more|arXiv (Cornell University)|Oct 12, 2017

Sentiment Analysis and Opinion Mining参考文献 12被引用数 3

ひとこと要約

本論文では、特徴工学を手動で行わず、英語、フランス語、スペイン語、日本語の4言語にわたる顧客フィードバックの自動分類を実現するため、畳み込みニューラルネットワーク（CNN）とゲート付き再帰ユニット（GRU）を組み合わせた深層学習手法を提案する。モデルはIJCNLP合同課題においてフランス語で2位（正解率71.75％）、他の言語でも上位3位以内を達成し、クラス不均衡や短いフィードバックの課題にもかかわらず、優れた多言語性能を示した。

ABSTRACT

Analyzing customer feedback is the best way to channelize the data into new marketing strategies that benefit entrepreneurs as well as customers. Therefore an automated system which can analyze the customer behavior is in great demand. Users may write feedbacks in any language, and hence mining appropriate information often becomes intractable. Especially in a traditional feature-based supervised model, it is difficult to build a generic system as one has to understand the concerned language for finding the relevant features. In order to overcome this, we propose deep Convolutional Neural Network (CNN) and Recurrent Neural Network (RNN) based approaches that do not require handcrafting of features. We evaluate these techniques for analyzing customer feedback sentences in four languages, namely English, French, Japanese and Spanish. Our empirical analysis shows that our models perform well in all the four languages on the setups of IJCNLP Shared Task on Customer Feedback Analysis. Our model achieved the second rank in French, with an accuracy of 71.75% and third ranks for all the other languages.

研究の動機と目的

• 顧客フィードバックを6つの事前に定義されたカテゴリ（コメント、要請、バグ、苦情、意味なし、未定義）に分類する汎用的で自動化されたシステムの開発。
• 各言語やドメインに対して言語固有の特徴工学を必要とする従来の教師ありモデルの限界を克服すること。
• 手作業で作成した特徴に依存せずに、深層学習モデル（特にCNNとCNN+GRU）が多言語顧客フィードバックデータに対してどのように性能を発揮するかを評価すること。
• 言語固有の事前学習済み埋め込みとデータ翻訳の影響が、モデルの多言語への一般化能力に与える影響を調査すること。
• 誤分類事例を分析し、曖昧な文、対象エンティティの欠落、非常に短い文などの主な課題を特定すること。

提案手法

• 著者らは、文の埋め込みから局所的なn-gram特徴を抽出するCNNベースのアーキテクチャを用い、次に次元削減のためのマックスプーリング層を適用する。
• 2番目のモデルは、CNNとゲート付き再帰ユニット（GRU）を組み合わせ、フィードバック文内の順序的依存関係を捉え、文脈モデリングを向上させる。
• 英語では事前学習済みGoogle Word2Vecを、他の言語では利用可能な事前学習済み埋め込みがなかったためランダム初期化を用いる。
• システムは英語のフィードバックデータで学習され、オリジナル言語のテストセットおよび非英語テストセットの英語翻訳版の両方で評価される。
• 6つのフィードバックカテゴリの分類に、交差エントロピー損失とソフトマックス分類を用いてモデルをファインチューニングする。
• 誤分類インスタンスに対してエラー分析を実施し、曖昧なフィードバック、対象エンティティの欠落、極めて短い文の3つに分類する。

実験結果

リサーチクエスチョン

• RQ1 CNNとGRUに基づく深層学習モデルは、言語固有の特徴工学を一切行わずに、複数の言語における顧客フィードバック分類を効果的に行えるか？
• RQ2 日本語やスペイン語のような低リソース言語において、翻訳済みテストデータとオリジナル言語テストデータの両方を用いた場合、性能にどのような差が生じるか？
• RQ3 短い、曖昧な、または不完全なフィードバック文を分類する際、モデルの主な失敗モードは何か？
• RQ4 トレーニングデータにおけるクラス不均衡が、「バグ」のような少数クラスを検出する能力にどの程度影響を与えるか？
• RQ5 言語固有の事前学習済み単語埋め込みを用いることで、性能をさらに向上させられるか？

主な発見

• CNN+GRUモデルは、IJCNLP合同課題においてフランス語で2番目の正解率（71.75％）を達成し、英語、スペイン語、日本語でも上位3位以内を記録した。
• CNNモデルは、英語翻訳済みテストデータを用いた場合、スペイン語で85.62％、日本語で63.00％の正解率を示し、中程度の多言語間転送性を示した。
• モデルはクラス不均衡の影響により「バグ」クラスで最も苦戦した。トレーニングデータでは苦情がバグよりもはるかに頻出していた。
• エラー分析の結果、誤分類の主な原因は曖昧なフィードバック、対象エンティティの欠落、極めて短い文であった。
• 非英語言語の事前学習済み単語埋め込みが不足していたことが性能の制限要因であったため、今後の改善には言語固有の埋め込みの導入が有効であると考えられる。
• 3-gram特徴とSVMを用いたベースラインシステムは、例えば英語で48.8％の正解率にとどまり、深層学習アプローチの優位性を裏付けた。