[論文レビュー] Helping each Other: A Framework for Customer-to-Customer Suggestion Mining using a Semi-supervised Deep Neural Network

Hitesh Golchha, Deepak Gupta+2 more|arXiv (Cornell University)|Nov 1, 2018

Sentiment Analysis and Opinion Mining参考文献 15被引用数 4

ひとこと要約

本稿では、レビューにおけるカスタマートゥカスタマーの提案抽出のための半教師ありハイブリッドディープラーニングモデルを提案する。CNN、LSTM、自己学習を組み合わせることで、提案文の検出を向上させる。未ラベルデータを活用することで、ホテル分野で65.6%、家電分野で65.5%のSOTA Fスコアを達成し、本タスクにおける自己学習の初適用である。

ABSTRACT

Suggestion mining is increasingly becoming an important task along with sentiment analysis. In today's cyberspace world, people not only express their sentiments and dispositions towards some entities or services, but they also spend considerable time sharing their experiences and advice to fellow customers and the product/service providers with two-fold agenda: helping fellow customers who are likely to share a similar experience, and motivating the producer to bring specific changes in their offerings which would be more appreciated by the customers. In our current work, we propose a hybrid deep learning model to identify whether a review text contains any suggestion. The model employs semi-supervised learning to leverage the useful information from the large amount of unlabeled data. We evaluate the performance of our proposed model on a benchmark customer review dataset, comprising of the reviews of Hotel and Electronics domains. Our proposed approach shows the F-scores of 65.6% and 65.5% for the Hotel and Electronics review datasets, respectively. These performances are significantly better compared to the existing state-of-the-art system.

研究の動機と目的

• 顧客が他の顧客に助言を提供するような文を特定する強固な手法の開発。
• 提案抽出におけるラベル付きデータの不足を補うために、大規模な未ラベル付きレビューを活用した半教師あり学習によるアプローチ。
• 言語的特徴とディープニューラルアーキテクチャを統合することで、既存のSOTAモデルを改善すること。
• リソースが限られた提案抽出の状況において、自己学習の有効性を検討すること。

提案手法

• CNNとLSTMを組み合わせたハイブリッドニューラルアーキテクチャにより、レビュー文から階層的および順序的な特徴を抽出する。
• 自己学習（半教師あり学習の一形態）を採用し、未ラベルデータからの高信頼度予測を繰り返しラベル付けし、モデルを再訓練する。
• 品詞タグ、依存関係、センチメント、順序パターンといった言語学的動機付けの特徴を、入力表現に統合する。
• クラスの不均衡を適切に処理するため、サンプリングと分析を慎重に行い、ホテルおよび家電分野のベンチマークデータセット上でフレームワークを訓練および評価する。
• 誤分類の原因を特定し、モデルの最適化を支援するために、混同行列と定性的な誤差分析を用いる。

実験結果

リサーチクエスチョン

• RQ1 半教師あり学習を組み合わせたハイブリッドディープラーニングモデルは、既存の教師ありベースラインを上回る性能を示せるか？
• RQ2 ラベル付きデータが限られた状況において、自己学習はモデルの汎化性能をどの程度向上させるか？
• RQ3 どのような言語的パターンや構文的構造が、顧客レビューにおける提案意図を最も効果的に予測するか？
• RQ4 特定の誤検出（誤検出）および見逃し（誤検出）はなぜ発生するのか？それらはより良いデータやアーキテクチャによって軽減可能か？

主な発見

• 自己学習を組み合わせた提案されたハイブリッドモデルは、ホテルレビューのデータセットで65.6%、家電レビューのデータセットで65.5%のFスコアを達成し、現在のSOTAを上回った。
• 半教師あり学習により、大規模な未ラベル付き顧客レビューを効果的に活用することで、性能が顕著に向上した。
• 誤検出は、実際に提案ではないが命令形に似た構造、例えば第二人称の物語的記述や非命令形の命令文から生じることが多い。
• 誤検出は、長く複雑な文において、提案文の一部（節）だけが意図を示している場合、または適切な標点符号がないまま2つの文が結合されている場合に一般的に発生する。
• 皮肉や繊細な示唆はモデルが困難に感じており、特にトレーニングデータで皮肉が誤ってラベル付けされている場合に顕著である。
• 誤差分析の結果、システムは提案用語や命令態を検出できるが、類似した文法的形態をより正確に区別できるようにするには、さらに多くのデータが必要であることが明らかになった。