[論文レビュー] Before Name-calling: Dynamics and Triggers of Ad Hominem Fallacies in Web Argumentation

Ivan Habernal, Henning Wachsmuth+2 more|arXiv (Cornell University)|Feb 19, 2018

Wikis in Education and Collaboration参考文献 45被引用数 65

ひとこと要約

本稿は、RedditのChange My View（CMV）データセットを用いた大規模なアノテーションとニューラルモデルを活用して、ウェブベースの議論における悪意の攻撃（ad hominem）の動態と言語的トリガーを調査する。本研究では、ad hominemの多面的分類法を提案し、解釈可能なニューラルネットワークを用いて修辞的トリガーを同定し、自己注意型埋め込みニューラルネットワーク（Self-Attentive Embedding Neural Network）を用いて81.0%の精度でad hominemを予測することに成功し、オンライン討論における早期の警告サインを明らかにした。

ABSTRACT

Arguing without committing a fallacy is one of the main requirements of an ideal debate. But even when debating rules are strictly enforced and fallacious arguments punished, arguers often lapse into attacking the opponent by an ad hominem argument. As existing research lacks solid empirical investigation of the typology of ad hominem arguments as well as their potential causes, this paper fills this gap by (1) performing several large-scale annotation studies, (2) experimenting with various neural architectures and validating our working hypotheses, such as controversy or reasonableness, and (3) providing linguistic insights into triggers of ad hominem using explainable neural network architectures.

研究の動機と目的

• 実世界のウェブ議論におけるad hominemの誤謬の定性的・定量的特性を調査し、それらがまれであるか、容易に識別可能であるという仮定に疑問を呈すること。
• 人間および機械学習モデルがad hominem攻撃を信頼性高く検出できるために必要な最小限の議論文脈を特定し、対話的文脈が誤謬認識に果たす役割を評価すること。
• ad hominem攻撃の直前に現れる言語的および修辞的トリガーを同定し、孤立した例にとどまらず、議論的言語行動における蓄積的プロセスを理解すること。
• 解釈可能な注意メカニズムを備えたニューラルモデルを構築・検証し、オンライン討論における早期の警告サインを明らかにすること。

提案手法

• Change My View（CMV）データセットのRedditスレッド1,000件以上を対象に、大規模なクラウドソーシングによるad hominem誤謬のアノテーションを実施し、新たなベンチマークデータセットを構築した。
• 議論的文脈に基づいてad hominemを予測するため、自己注意型埋め込みニューラルネットワーク（SSAE-NN）を含む複数のニューラルアーキテクチャを訓練・評価した。
• モデルの予測を解釈するための注目可視化技術を適用し、その後続するad hominem攻撃と相関する言語的特徴を抽出した。
• 異なるディスコースレベル（例：孤立した文と対話的シーケンス）が検出性能に与える寄与度を評価するためのアブレーションスタディを実施した。
• 多段階分析フレームワークを用いた：（1）孤立したad hominem、（2）対話なしの直接的攻撃、（3）完全な対人的議論におけるad hominem。
• 解釈可能なAI（XAI）技術を活用して、注目重みを解釈し、誤謬的攻撃の直前に現れる修辞的技法を同定した。

実験結果

リサーチクエスチョン

• RQ1 ウェブ議論におけるad hominemの議論の定性的・定量的特性は何か？ また、それらは理論的分類体系と整合的か？
• RQ2 人間および機械学習モデルがad hominemを正確に検出するために、どの程度の前後の議論文脈が必要か？
• RQ3 ad hominem攻撃のトリガーとして機能する言語的および修辞的特徴は何か？ そして、これらの特徴はニューラルネットワークを用いて予測可能か？

主な発見

• 自己注意型埋め込みニューラルネットワーク（SSAE-NN）を用いた予測で81.0%の精度を達成し、文脈的特徴が強力な予測要因であることを示した。
• ad hominem攻撃の直前には、非難の言語、皮肉、論拠の欠如を主張する表現といった修辞的技法が頻繁に現れ、モデルはこれらをその後続する誤謬と関連付ける学習をした。
• SSAE-NNの注目メカニズムにより、『自己矛盾の非難』『誤った推論』『証拠の欠如』といった特定のフレーズがad hominem反応の主要なトリガーとして強調された。
• 皮肉、負荷の高いキーワード（例：'Nazi'、'rapist'）、直接命令形は、明示的に誤謬的でない場合でも、その後続するad hominemの動きと強く相関していた。
• 本研究ではコメントの4.1%がad hominemとラベル付けされたが、大多数は批判的または対立的な発言の連続の後に現れたため、動的な蓄積的プロセスが存在することが明らかになった。
• 誤検出（偽陰性）の多くは、高頻度語彙を含む文や、誤って分類された皮肉に起因しており、微妙なまたは間接的な攻撃の検出に課題があることが示唆された。