[論文レビュー] Don't get Lost in Negation: An Effective Negation Handled Dialogue Acts Prediction Algorithm for Twitter Customer Service Conversations

Mansurul Bhuiyan, Amita Misra+3 more|arXiv (Cornell University)|Jul 16, 2018

Topic Modeling参考文献 24被引用数 5

ひとこと要約

この論文は、カスタマーサービスのTwitter会話におけるSVMベースの会話行動予測アルゴリズムを提案し、独自のヒューリスティクスを用いて否定を明示的に処理する。否定検出を組み込むことで、特に-1/+2ウィンドウヒューリスティクスを用いることで、ほとんどの会話行動においてFスコアが著しく向上することが示され、ヒューリスティクス手法がCRFベースの手法を上回った。

ABSTRACT

In the last several years, Twitter is being adopted by the companies as an alternative platform to interact with the customers to address their concerns. With the abundance of such unconventional conversation resources, push for developing effective virtual agents is more than ever. To address this challenge, a better understanding of such customer service conversations is required. Lately, there have been several works proposing a novel taxonomy for fine-grained dialogue acts as well as develop algorithms for automatic detection of these acts. The outcomes of these works are providing stepping stones for the ultimate goal of building efficient and effective virtual agents. But none of these works consider handling the notion of negation into the proposed algorithms. In this work, we developed an SVM-based dialogue acts prediction algorithm for Twitter customer service conversations where negation handling is an integral part of the end-to-end solution. For negation handling, we propose several efficient heuristics as well as adopt recent state-of- art third party machine learning based solutions. Empirically we show model's performance gain while handling negation compared to when we don't. Our experiments show that for the informal text such as tweets, the heuristic-based approach is more effective.

研究の動機と目的

• Twitterカスタマーサービスにおける会話行動予測の分野において、否定処理を組み込むことでギャップを埋める。
• 口語的で会話的なテキスト（例：ツイート）に特化した、効果的な否定スコープ検出技術の開発と評価。
• 肯定文と否定文を区別することで、会話行動分類の正確性を向上させる。
• 12種類の会話行動タイプを持つ、2,235件の否定付きカスタマーサービスツイートを含む、公開可能なアノテート済みコーパスの作成。

提案手法

• 否定スコープ検出にウィンドウベースのヒューリスティクスアプローチを提案し、-1/+2ウィンドウ（否定キーワードの1語前と2語後）が最適な性能を示した。
• ルールベースのヒューリスティクス、品詞タギング、標 punctuatio ン、感情語検出を含む複数の否定検出戦略を統合。
• 比較のため、SemEval-2012データで事前学習したCRFベースのモデルを採用し、口語的で非公式なTwitterテキストでテスト。
• 手動で作成した特徴（語彙的、文法的、意味的ヒント）を用いて、SVMを発話単位の会話行動分類に適用。
• ハイパーパramータチューニングとテストのための別々の5分割交差検証を用い、評価の堅牢性を確保。
• クラウドソーシングを用いて、2,235件のツイートをアノテートし、否定キーワードと12種類の会話行動タイプを特定。アノテーションはShereenら（2018）の分類体系に準拠。

実験結果

リサーチクエスチョン

• RQ1 口語的で非公式なTwitterカスタマーサービス会話において、否定検出を組み込むことで会話行動予測のパフォーマンスが向上するか？
• RQ2 ルールベースのヒューリスティクスと系列モデルのどちらが、口語的で非公式なツイートデータにおいてより優れた否定スコープ検出性能を示すか？
• RQ3 否定の存在を考慮した場合、提案手法のパフォーマンスは、既存の最先端の会話行動分類システムと比べてどうか？
• RQ4 CRFベースの否定モデルは、公式なベンチマークで優れた性能を示しているが、なぜ非公式なテキストでは性能を発揮しないのか？

主な発見

• -1/+2ウィンドウヒューリスティクスが、ほとんどの会話行動で最高のFスコアを達成し、他のウィンドウサイズやCRFベースの手法を上回った。
• 否定検出を組み込むことで、12種類の会話行動のうち10種類でFスコアが向上し、特に「question_yesno」（+0.12）と「statement_complaint」（+0.03）で顕著な向上が見られた。
• CRFベースの否定モデルは、ドメインシフトに起因して性能を発揮しなかった。訓練に公式な英語（アーサー・コナン・ドイル）を用い、テストに非公式なTwitterテキストを適用したため。
• 「socialact_thanks」の行動では、否定処理による向上が最小限にとどまり、明示的な語（例：「ありがとう」）が強い内在的信号を提供しているためと推測される。
• 提案手法は、Shereenら（2018）の最先端ベースラインと比較して、12種類の会話行動のうち10種類で優れた性能を示した。特に短い会話の文脈で顕著であった。
• 非公式なTwitterテキストでは、ヒューリスティクスベースの否定スコープ検出がCRFベースの手法を上回った。これは、ドメイン特化された適応の重要性を示している。