[論文レビュー] An Unsupervised Domain-Independent Framework for Automated Detection of Persuasion Tactics in Text

Rahul Radhakrishnan Iyer, Katia Sycara|arXiv (Cornell University)|Dec 13, 2019

Misinformation and Its Impacts参考文献 29被引用数 16

ひとこと要約

本稿では、語彙的特徴に依存せず、文の構造的特徴に着目することで、無教師でドメインに依存しない文の説得戦略の検出フレームワークを提案する。Doc2Vecなどの教師ありベースラインと比較して、F1スコアが7–8%以上高い優れた性能を達成しており、アノテート済み学習データを一切不要とし、さらに著しく高速である。これは、構造的パターンのみで、多様なドメインにわたり説得タイプを効果的に分類可能であることを示している。

ABSTRACT

With the increasing growth of social media, people have started relying heavily on the information shared therein to form opinions and make decisions. While such a reliance is motivation for a variety of parties to promote information, it also makes people vulnerable to exploitation by slander, misinformation, terroristic and predatorial advances. In this work, we aim to understand and detect such attempts at persuasion. Existing works on detecting persuasion in text make use of lexical features for detecting persuasive tactics, without taking advantage of the possible structures inherent in the tactics used. We formulate the task as a multi-class classification problem and propose an unsupervised, domain-independent machine learning framework for detecting the type of persuasion used in text, which exploits the inherent sentence structure present in the different persuasion tactics. Our work shows promising results as compared to existing work.

研究の動機と目的

• ドメイン固有の語彙的特徴やアノテート済み学習データに依存しない、テキスト内の説得戦略を検出する手法の開発。
• 説得的主張の固有の構文的構造が、多様なドメインにわたり分類のための信頼できる指標として機能するかどうかの調査。
• ソーシャルメディア、政治的議論、セキュリティ応用に応用可能な、高速でスケーラブルかつ一般化可能な説得検出モデルの構築。
• 多クラス分類において、Doc2Vec や語彙的特徴に基づくモデルと比較して、フレームワークの性能を評価すること。
• 構造的パターンが、複雑なニューラルモデルよりも高いF1スコアを達成し、計算コストを低減できるかどうかの実証。

提案手法

• 14の説得戦略カテゴリ（例：推論、希少性、共感）の各カテゴリに対して、文の構造のクラスタリングを用いてプロトタイプ文字列を同定する。
• 各文に対して解析木表現を構築し、従属構造やフレーズレベルの構成を焦点として構文的パターンを抽出する。
• 各戦略カテゴリ内での代表的な文の構造からプロトタイプ文字列を合成し、分類のための構造的フィンガープリントを形成する。
• 新しい文の構造的パターンを、学習済みのプロトタイプ文字列と類似度メトリクスを用いて比較することで分類を実行する。
• ドメイン固有の語彙を避けるために、構文的および構造的特徴にのみ依存することで、ドメイン独立性を確保する。
• 多クラス分類における性能評価はF1スコアを用い、Doc2Vec や語彙的特徴に基づくSVMと比較する。

実験結果

リサーチクエスチョン

• RQ1 語彙的特徴に依存せず、文レベルの構文的構造が、異なる種類の説得戦略を信頼性を持って区別できるか？
• RQ2 教師ありの埋め込みベースのモデル（例：Doc2Vec）と比較して、無教師で構造に基づくアプローチが説得検出で優れた性能を示すか？
• RQ3 提案されたフレームワークは、政治、ブログ、法的主張など多様なドメインにわたり、どれほど頑健でスケーラブルか？
• RQ4 精度、再現率、F1スコアの観点から、語彙的特徴に基づく手法と比較して、モデルの性能はどの程度か？
• RQ5 単純な無教師構造的モデルが、複雑な深層学習モデルを上回るF1スコアを達成できるか、かつ著しく高速であるか？

主な発見

• 提案された無教師フレームワークは、Doc2Vecベースラインと比較してF1スコアが7–8%高い優れた分類性能を示した。
• モデルはDoc2Vecよりも1.5倍速く実行され、プロトタイプ生成に必要なデータが最小限であるにもかかわらず、その効率性が顕著に示された。
• 推論、道徳的・義務的訴求、結果、共感といった戦略において、優れた性能を示し、先行研究の結果とも整合した。
• さまざまなデータサイズにおいても、高い安定性と頑健性を示し、信頼性の高い一般化能力を有していた。
• 特に精度と再現率のバランスを考慮すると、語彙的特徴に基づくSVMおよびベクトル埋め込みモデルを上回った。
• 感度分析により、データサイズの変動に対しても方法が耐性を示すことが確認され、実用的妥当性が裏付けられた。