[論文レビュー] The Diversity of Argument-Making in the Wild: from Assumptions and Definitions to Causation and Anecdote in Reddit's "Change My View"

Robin W. Na, Simon DeDeo|arXiv (Cornell University)|May 16, 2022

Social Media and Politics被引用数 4

ひとこと要約

本研究では、NLPを用いてRedditのr/CMVにおける議論パターンを分析し、6種類の異なるタイプ——帰納、演繹、因果関係、定義、関連性、個人経験——を特定。個人経験と因果的議論が、意見の変容に最も効果的であることが判明。個人的・非個人的、具体的・抽象的という二軸モデルを提唱し、個々の議論戦略のばらつきの約80％を説明する。

ABSTRACT

What kinds of arguments do people make, and what effect do they have on others? Normative constraints on argument-making are as old as philosophy itself, but little is known about the diversity of arguments made in practice. We use NLP tools to extract patterns of argument-making from the Reddit site "Change My View" (r/CMV). This reveals six distinct argument patterns: not just the familiar deductive and inductive forms, but also arguments about definitions, relevance, possibility and cause, and personal experience. Data from r/CMV also reveal differences in efficacy: personal experience and, to a lesser extent, arguments about causation and examples, are most likely to shift a person's view, while arguments about relevance are the least. Finally, our methods reveal a gradient of argument-making preferences among users: a two-axis model, of "personal--impersonal" and "concrete--abstract", can account for nearly 80% of the strategy variance between individuals.

研究の動機と目的

• 現実世界のオンラインディスカッションにおいて使われる多様な議論パターンを特定・分類し、伝統的な演繹的・帰納的枠組みを越えること。
• r/CMVのような高忠実度で誠実な議論環境において、異なる議論タイプの意見変容効果を調査すること。
• 個人的・非個人的、具体的・抽象的という二つの次元を用いた二元的フレームワークにより、個々の議論戦略の違いをモデル化すること。
• 議論パターンとアップボート数・意見変容の結果の相関関係を検討し、認識された説得力と実際の説得力の間の不一致を明らかにすること。

提案手法

• r/CMVおよびLessWrongの120万件のコメントから、共起する議論断片（例：' entirely possible' などのビグラム）を抽出するための非教師付きNLP技術を適用。
• 意味的文脈モデリングを用い、議論断片を6つの核心的議論タイプ（演繹、帰納、因果関係、定義、関連性、個人経験）に関連付ける。
• 意味的文脈を制御した上で、各議論タイプと関連するアップボート数および意見変容の可能性の変化（'デルタボーナス'）を計算。
• 多変量回帰を用いて、議論パターンとユーザー単位の成果（アップボート数、デルタ評価）との関係を評価し、戦略のばらつきを特定。
• 個人の議論戦略の差を説明する二軸モデル（個人的・非個人的、具体的・抽象的）を構築し、分散分解を用いて妥当性を検証。
• r/CMV（一般大衆）とLessWrong（合理的主義者コミュニティ）の2つのプラットフォームを比較し、議論の有効性に関する好みの相違を明らかにした。

実験結果

リサーチクエスチョン

• RQ1 古典的な演繹的・帰納的形態を越えた、現実世界のオンラインディスカッションで実際に観察される議論パターンの主な形態は何か？
• RQ2 r/CMVにおける'デルタ'評価で測定した場合、どの議論タイプが他者の意見を変えるのに最も効果的か？
• RQ3 個々の議論戦略の違いは、特定の議論タイプの使用とどのように相関し、2次元の次元（個人的・非個人的、具体的・抽象的）でモデル化可能か？
• RQ4 アップボートのパターンは、実際に意見が変わった結果とどの程度一致するか。また、どこで不一致が生じるか？
• RQ5 一般大衆フォーラム（r/CMV）と合理的主義者コミュニティ（LessWrong）では、議論の好みや有効性にどのような違いがあるか？

主な発見

• 意見変容に最も効果的だったのは個人経験と因果的議論で、個人経験は全トピックで平均+0.36のデルタボーナスを示した。
• 関連性に関する議論が最も効果が低く、平均で-0.21のデルタボーナスを示し、意見変容の頻度が極めて低いことが示された。
• 『個人的・非個人的』と『具体的・抽象的』という二軸モデルは、個々の議論戦略のばらつきの約80％を説明できた。
• r/CMVでは、個人経験と因果的議論が最も高いアップボートボーナスを示したが、LessWrongでは個人的エピソード（'person-moral-bad'トピックで平均+0.61）が強く好まれた一方、帰納的議論は低評価だった。
• 帰納的および確率的議論は、ベースラインより意見変容の可能性（デルタ）を高める傾向にあったが、顕著に多くのアップボートを獲得したわけではなかった。これは、認識された説得力と実際の説得力の間の乖離を示している。
• LessWrongでは帰納的議論に対して強いバイアスがあり、関連性に基づく議論への寛容性も高かったが、r/CMVでは具体的で個人的・因果的議論が好まれていた。