[論文レビュー] Conversations Gone Awry: Detecting Early Signs of Conversational Failure

Justine Zhang, Jonathan P. Chang+5 more|arXiv (Cornell University)|May 14, 2018

Hate Speech and Cyberbullying Detection参考文献 41被引用数 57

ひとこと要約

この論文は、初回のやり取りから早期に、民事的なオンライン会話が個人攻撃へと逸脱するかを予測し、丁寧さと修辞的促しのプロンプトを用いるタスクを導入する。

ABSTRACT

One of the main challenges online social systems face is the prevalence of antisocial behavior, such as harassment and personal attacks. In this work, we introduce the task of predicting from the very start of a conversation whether it will get out of hand. As opposed to detecting undesirable behavior after the fact, this task aims to enable early, actionable prediction at a time when the conversation might still be salvaged. To this end, we develop a framework for capturing pragmatic devices---such as politeness strategies and rhetorical prompts---used to start a conversation, and analyze their relation to its future trajectory. Applying this framework in a controlled setting, we demonstrate the feasibility of detecting early warning signs of antisocial behavior in online discussions.

研究の動機と目的

• オンライン会話で将来の antisocial behavior が発生する前にそれを予測する問題を動機づける。
• 始めは礼節だが脱線する可能性のあるWikipediaトークページの会話の、コントロールされたラベル付きデータセットを構築する。
• 丁寧さ戦略や修辞的促しのような実践的手法を抽出するフレームワークを開発する。
• これらの初期語用手が会話の経過を予測し、実用的な洞察を提供できるかを評価する。

提案手法

• 有害性分類器とクラウドソーシングによるフィルタリングを用いて礼節に始まる会話を識別する。
• 同じトークページで逸脱方向と軌道上の会話をペアリングしたマッチド、コントロールされたセットを作成し、話題の混乱要因を制御する。
• Brown and Levinson (1987) に従う依存解析のパターンマッチングを通じて丁寧さ戦略を抽出する。
• 無監督の依存解析ベースの表現とクラスタリングによってドメイン特有の会話促しを発見する。
• ロジスティック回帰を用いた留出法（leave-one-page-out）クロスバリデーションで実践的特徴量の予測力を評価する。

実験結果

リサーチクエスチョン

• RQ1 初回のやり取りにおける初期の語用ヒントは、会話が個人攻撃へと逸脱するかを予測できるか？
• RQ2 丁寧さ戦略は会話の将来の経過とどう関連しているか？
• RQ3 無監督に発見されたドメイン特有の促しは、事前に定義された丁寧さマーカーを超える予測信号を提供するか？
• RQ4 実践的特徴の予測力は、ベースライン言語やユーザー特徴と比べて相対的にどれほどか？

主な発見

• 初めの二つのコメントからの丁寧さと促しタイプの特徴は、将来の逸脱について測定可能な予測信号をもたらす。
• 初回の直接的な質問と文頭の you 代名詞が、逸脱方向の会話と関連する（p < 0.001）。
• 初回の挨拶や感謝は軌道上の会話でより一般的である（p < 0.001 〜 p < 0.05）。
• 実践的特徴（促し＋丁寧さ）は、将来の結果を予測する際に 61.6% の精度を達成し、bag-of-words や感情だけといったベースラインを上回る。
• 有害性シグナルと実践的特徴を組み合わせると 64.9% の精度に達し、人間の性能（72%）に近く、いくつかのベースラインを上回る。
• 人間は将来の攻撃を正しく予測するのが 72% の頻度で、モデルは人間が正解したケースの80%で人間と同等の性能を示す。