[논문 리뷰] Causal Explanation Analysis on Social Media

Youngseo Son, Nipun Bayas외 1명|arXiv (Cornell University)|2018. 09. 04.

Topic Modeling참고 문헌 23인용 수 5

한 줄 요약

이 논문은 사회적 미디어에서 자동 원인 설명 분석을 위한 이단계적 파ip을 제안한다. 원인성 탐지에 SVM을 사용하여 F1=0.791을 달성하고, 원인 설명 식별에 계층적 양방향 LSTM을 사용하여 F1=0.853을 달성하며, 총합 F1은 0.868을 기록한다. 이 방법은 문법적 분석에 의존도를 줄이고 순차적 맥락을 최대한 활용함으로써 전통적인 모델과 논의 분석기보다 우수한 성능을 보이며, 감성 분석 및 인구 통계적 추세 탐지 등의 응용에 기여한다.

ABSTRACT

Understanding causal explanations - reasons given for happenings in one's life - has been found to be an important psychological factor linked to physical and mental health. Causal explanations are often studied through manual identification of phrases over limited samples of personal writing. Automatic identification of causal explanations in social media, while challenging in relying on contextual and sequential cues, offers a larger-scale alternative to expensive manual ratings and opens the door for new applications (e.g. studying prevailing beliefs about causes, such as climate change). Here, we explore automating causal explanation analysis, building on discourse parsing, and presenting two novel subtasks: causality detection (determining whether a causal explanation exists at all) and causal explanation identification (identifying the specific phrase that is the explanation). We achieve strong accuracies for both tasks but find different approaches best: an SVM for causality prediction (F1 = 0.791) and a hierarchy of Bidirectional LSTMs for causal explanation identification (F1 = 0.853). Finally, we explore applications of our complete pipeline (F1 = 0.868), showing demographic differences in mentions of causal explanation and that the association between a word and sentiment can change when it is used within a causal explanation.

연구 동기 및 목표

• 비공식적인 사회적 미디어 텍스트에서 원인 설명을 자동으로 탐지하고 식별하는 방법을 개발함으로써, 기존에는 수작업 애너테이션에 의존해 연구된 바가 있는 분야를 자동화하고자 한다.
• 사회적 미디어에서의 암시적 원인성, 문법적 잡음, 논의 마커의 변동성 문제를 해결하기 위해 문법적 분석에 대한 의존도를 최소화하고 순차적 맥락의 활용을 극대화하고자 한다.
• 다양한 모델 아키텍처—SVM, 랜덤 포레스트, RNN—을 원인성 예측 및 원인 설명 식별 작업에 적용하여 최적의 접근 방식을 규명하고자 한다.
• 이 파이프라인의 실용적 응용 사례를 입증하고자 하며, 원인 설명 사용 패턴의 인구 통계적 차이 분석과 원인 맥락을 통한 감성 분석 향상 등을 포함하고자 한다.
• 향후 논의 인식 기반 사회적 미디어 분석 연구를 지원하기 위해, 신규로 생성된 익명화된 페이스북 원인성 데이터셋과 훈련된 모델을 공개하고자 한다.

제안 방법

• 원인성 탐지 작업은 n-그램, 품사 태그, 어휘 기반 특징을 기반으로 한 SVM 분류기를 사용하여 게시물에 원인 설명이 포함되어 있는지 여부를 판단한다.
• 원인 설명 식별을 위해 계층적 양방향 LSTM 모델이 단어 수준와 논의적 주장 수준에서 논의적 주장들을 처리하여 순차적 의존성을 포착한다.
• 파이프라인은 PDTB 스타일의 논의 분할 기법을 통합하고, 최소한의 문법적 의존도를 가진 논의 관계 분석을 적용하여 노이즈가 많은 사회적 미디어 텍스트에 대한 강건성을 향상시킨다.
• 계층적 BiLSTM 아키텍처는 논의적 주장 내부의 단어를 처리한 다음, 논의적 주장들을 순서대로 조합하여 어떤 주장이 원인 설명인지 예측한다.
• 모델 성능 평가는 새로 공개된 익명화된 페이스북 원인성 데이터셋을 기반으로 F1 스코어로 평가되며, 아블레이션 연구를 통해 아키텍처 기여도를 평가한다.
• 응용 사례는 유저 평가 감성 데이터셋과 MyPersonality 데이터셋을 사용하여 원인 설명 내에서의 인구 통계 패턴과 감성 연관성을 분석한다.

실험 결과

연구 질문

• RQ1 비공식적이고 문법적으로 다양성이 높은 사회적 미디어 텍스트에서 원인 설명의 존재를 탐지하기 위해 어떤 모델 아키텍처가 가장 우수한 성능을 보일까?
• RQ2 원인 설명의 특정 어구를 식별하는 데서, BiLSTM과 같은 순차적 모델의 성능은 SVM과 같은 전통적 분류기와 비교해 어떻게 다를까?
• RQ3 연령과 성별과 같은 인구 통계적 요소가 사회적 미디어 게시물에서 원인 설명 사용 빈도와 얼마나 관련이 깊은가?
• RQ4 원인 설명 맥락을 포함함으로써 감성 분석의 성능이 일괄적으로 모든 논의적 주장에 대해 분석하는 것과 비교해 얼마나 향상되는가?
• RQ5 BiLSTM 레이어를 bag-of-features 접근 방식으로 대체하는 등의 아키텍처 설계 변화가 원인 설명 식별 정확도에 어떤 영향을 미치는가?

주요 결과

• SVM 분류기는 원인성 탐지 작업에서 F1 스코어 0.791을 기록하며, RNN 기반 모델들을 압도적으로 뛰어넘었으며, 이는 이 이진 분류 작업에 특징 기반 모델이 더 적합함을 시사한다.
• 계층적 양방향 LSTM 모델은 원인 설명 식별 작업에서 F1 스코어 0.853을 기록하며, 간단한 RNN 및 특징 기반 모델들보다 뚜렷이 뛰어난 성능을 보였다.
• 완전한 파이프라인은 총합 F1 스코어 0.868을 달성하여 사회적 미디어 텍스트에서의 종단 간 원인 설명 분석에 강력한 성능을 보였다.
• 아블레이션 연구 결과, 단어 수준 또는 논의적 주장 수준의 BiLSTM 레이어를 bag-of-features 접근 방식으로 대체할 경우 정확도가 떨어졌으며, 이는 순차적 모델링의 중요성을 확인시켰다.
• 연령이 많거나 여성인 사용자들이 원인 설명 사용 빈도가 유의미하게 높았으며, 둘 다 중간 정도의 효과 크기를 보였다 (p < .05).
• 감성 분석에서 유저 평가 리뷰의 원인 설명은 '가장 나쁜', '무례한', '과도하게 비싼', '느린'과 같은 내용어와 더 강하게 연관되어 있었으며, 이는 원인 맥락이 감성의 근본 원인을 더 잘 포착함을 시사한다.