[논문 리뷰] The Diversity of Argument-Making in the Wild: from Assumptions and Definitions to Causation and Anecdote in Reddit's "Change My View"

Robin W. Na, Simon DeDeo|arXiv (Cornell University)|2022. 05. 16.

Social Media and Politics인용 수 4

한 줄 요약

이 연구는 NLP를 활용해 Reddit의 r/CMV에서 논증 패턴을 분석하여 추론, 귀납, 인과성, 정의, 관련성, 개인 경험의 여섯 가지 유형을 식별하며, 개인 경험과 인과 논증이 시각을 바꾸는 데 가장 효과적임을 밝혀냈다. 또한 개인–비개인적, 구체적–추상적이라는 이중 축 모델을 제안하여 개인의 논증 전략 변동성의 약 80%를 설명한다.

ABSTRACT

What kinds of arguments do people make, and what effect do they have on others? Normative constraints on argument-making are as old as philosophy itself, but little is known about the diversity of arguments made in practice. We use NLP tools to extract patterns of argument-making from the Reddit site "Change My View" (r/CMV). This reveals six distinct argument patterns: not just the familiar deductive and inductive forms, but also arguments about definitions, relevance, possibility and cause, and personal experience. Data from r/CMV also reveal differences in efficacy: personal experience and, to a lesser extent, arguments about causation and examples, are most likely to shift a person's view, while arguments about relevance are the least. Finally, our methods reveal a gradient of argument-making preferences among users: a two-axis model, of "personal--impersonal" and "concrete--abstract", can account for nearly 80% of the strategy variance between individuals.

연구 동기 및 목표

• 실세계 온라인 논의에서 전통적인 연역적·귀납적 프레임워크를 넘어서는 다양한 논증 패턴을 식별하고 분류하는 것.
• 특히 r/CMV와 같은 고해상도, 진지한 논의 환경에서 다양한 논증 유형이 타인의 시각을 바꾸는 데 얼마나 효과적인지 조사하는 것.
• 개인–비개인적, 구체적–추상적 차원으로 이루어진 이차원 프레임워크를 사용해 개인 간 논증 전략의 차이를 모델링하는 것.
• 논증 패턴이 업보트와 시각 변화 결과와 어떻게 관련되어 있는지 분석하여, 인식된 설득력과 실제 설득력 사이의 불일치 가능성을 밝혀내는 것.

제안 방법

• r/CMV와 LessWrong의 120만 개 댓글에서 공존하는 논증 조각(예: '완전히 가능하다' 같은 비그램)을 추출하기 위해 비지도 NLP 기법을 적용했다.
• 의미적 맥락 모델링을 활용해 논증 조각을 추론, 귀납, 인과성, 정의, 관련성, 개인 경험의 여섯 가지 핵심 논증 유형과 연결했다.
• 의미적 맥락을 보정한 상태에서 각 논증 유형과 연관된 '델타 보너스'(업보트와 시각 변화 가능성의 변화)를 계산했다.
• 다변량 회귀 분석을 통해 논증 패턴과 사용자 수준의 결과(업보트, 델타 평점) 간의 관계를 평가하고 전략 변동성을 규명했다.
• 개인적–비개인적, 구체적–추상적이라는 이중 축 모델을 구축해 개인의 논증 전략 차이를 설명하고, 분산 분해를 통해 검증했다.
• 두 플랫폼 간 비교 분석을 통해 r/CMV(일반 대중)와 LessWrong(합리주의 공동체) 간의 논증 효율성에 대한 기대 차이를 규명했다.

실험 결과

연구 질문

• RQ1 전통적인 연역적·귀납적 형태를 초월해 실세계 온라인 대화에서 관찰되는 주요 논증 패턴은 무엇인가?
• RQ2 r/CMV에서 '델타' 평점으로 측정했을 때, 어떤 논증 유형이 타인의 시각을 바꾸는 데 가장 효과적인가?
• RQ3 개인 간 논증 전략의 차이가 특정 논증 유형의 사용과 어떻게 관련되어 있으며, 이는 두 축(개인–비개인적, 구체적–추상적)을 따라 모델링될 수 있는가?
• RQ4 업보트 패턴이 실제 시각 변화 결과와 얼마나 일치하는가? 어디서는 불일치가 발생하는가?
• RQ5 일반 대중 포럼(r/CMV)과 합리주의 공동체(LessWrong) 간의 논증 선호도와 효율성은 어떻게 다를까?

주요 결과

• 개인 경험과 인과 논증이 가장 효과적으로 시각을 바꾸었으며, 개인 경험 논증은 주제별 평균 델타 보너스가 +0.36로 가장 높았다.
• 관련성 논증이 가장 효과적이지 않아 평균 -0.21의 음수 델타 보너스를 보이며 시각 변화를 거의 유도하지 못했다.
• '개인–비개인적', '구체적–추상적'이라는 이중 축 모델이 개인의 논증 전략 선호도 변동성의 약 80%를 설명했다.
• r/CMV에서는 개인 경험과 인과 논증이 가장 높은 업보트 보너스를 기록했고, LessWrong에서는 개인적 에피소드가 강하게 선호되었으며('person-moral-bad' 주제에서 평균 +0.61), 반면 귀납 논증은 업보트를 받지 못했다.
• 귀납적·확률적 논증은 기준 대비 델타(시각 변화)를 유도할 가능성이 더 높았지만, 업보트 수신에 유의미하게 더 많은 반응을 보이진 않아, 인식된 설득력과 실제 설득력 사이의 괴리가 있음을 시사했다.
• LessWrong는 귀납 논증에 강한 편견을 보였고, 관련성 기반 논의에 더 관용적이었으며, 이는 r/CMV의 구체적·개인적·인과적 논증 선호와 대조를 이뤘다.