[논문 리뷰] Detecting and Explaining Causes From Text For a Time Series Event

Dongyeop Kang, Varun Gangal외 3명|arXiv (Cornell University)|2017. 07. 27.

Advanced Text Analysis Techniques참고 문헌 31인용 수 4

한 줄 요약

이 논문은 N-grams, 토픽, 감성에 대한 Granger 인과성 분석을 통해 시계열 사건과 연결된 인과적 특징을 탐지하는 CSpikes 시스템을 소개한다. 이 시스템은 상징적 공통지식 기반과 신경 추론 모델을 결합하여 인과적 설명 체인을 구성함으로써 의미 있는 인과적 설명을 생성하는 데 있어 해석 가능성과 성능을 향상시켰으며, 인간 평가와 BLEU 점수를 통해 검증되었다.

ABSTRACT

Explaining underlying causes or effects about events is a challenging but valuable task. We define a novel problem of generating explanations of a time series event by (1) searching cause and effect relationships of the time series with textual data and (2) constructing a connecting chain between them to generate an explanation. To detect causal features from text, we propose a novel method based on the Granger causality of time series between features extracted from text such as N-grams, topics, sentiments, and their composition. The generation of the sequence of causal entities requires a commonsense causative knowledge base with efficient reasoning. To ensure good interpretability and appropriate lexical usage we combine symbolic and neural representations, using a neural reasoning algorithm trained on commonsense causal tuples to predict the next cause step. Our quantitative and human analysis show empirical evidence that our method successfully extracts meaningful causality relationships between time series with textual features and generates appropriate explanation between them.

연구 동기 및 목표

• 텍스트 데이터를 활용하여 시계열 사건에 대한 인과적 설명을 생성하는 새로운 과제를 정의하고 해결한다.
• 과거의 텍스트 특징(예: N-grams, 감성)이 향후 시계열 값(예: 주가)을 예측하는 데 기여하는지 검증함으로써 통계적으로 유의미한 인과적 특징을 탐지한다.
• FrameNet 애너테이션을 활용하여 텍스트 내의 FrameNet 의미를 기반으로 한 원인-결과 쌍을 추출하여 대규모 인과 그래프(CGraph)를 구성한다.
• 상징적 지식과 신경 시퀀스 모델링을 융합하여 어휘적으로 풍부하고 해석 가능한 인과적 설명 체인을 생성한다.
• 신경 추론와 상징적 추론의 효과성을 비교하여 유의미하고 정확한 인과적 설명 생성 능력을 평가한다.

제안 방법

• 과거의 텍스트 특징(예: N-grams, 감성)이 향후 시계열 값(예: 주가)을 예측하는 데 기여하는지 검증함으로써 Granger 인과성 기반으로 인과적 특징을 탐지한다.
• 대규모 텍스트 및 소셜 미디어(예: 뉴스, 트윗)에서 텍스트 특징을 추출하여 각 엔티티에 대해 N-grams, 토픽, 감성 점수의 시계열을 구축한다.
• FrameNet 의미를 활용하여 원인-결과 쌍을 식별하고, 1억 8300만 문장에서 500만 개 이상의 인과 쌍을 추출하여 인과 그래프(CGraph)를 구성한다.
• 공통지식 기반 인과 튜플로 훈련된 신경 추론 모델을 사용하여 인과 체인의 다음 단계를 예측함으로써 어휘 다양성과 해석 가능성을 확보한다.
• 목표 시계열을 기반으로 하여 선형 함수 Φ를 통해 특징 조합을 유도하는 그래프 기반 특징 선택 알고리즘을 적용한다.
• 논리적 일관성을 확보하기 위한 상징적 추론과 어휘 다양성 및 유창성을 확보하기 위한 신경 추론을 결합하여 설명 생성을 수행한다.

실험 결과

연구 질문

• RQ1 감성, 토픽 등의 텍스트 특징에 대해 Granger 인과성을 적용할 경우 시계열 사건과의 인과 관계를 효과적으로 탐지할 수 있는가?
• RQ2 의미 프레임을 활용하여 실제 텍스트에서 대규모 텍스트 원인-결과 쌍의 인과 그래프를 어떻게 구성할 수 있는가?
• RQ3 공통지식 기반 인과 튜플로 훈련된 신경 추론 모델이 상징적 방법보다 더 자연스럽고 설득력 있는 인과적 설명 체인을 생성할 수 있는가?
• RQ4 하이브리드 상징-신경 추론 시스템이 인과적 설명의 해석 가능성과 품질을 어느 정도 향상시키는가?
• RQ5 인간 평가자들은 신경 추론 모델과 상징적 추론 모델이 생성한 설명의 상대적 품질을 어떻게 평가하는가?

주요 결과

• 기본 모델 대비 인과성 탐지 방법이 향후 시계열 값 예측에서 뛰어난 성능을 보이며, 인과적 텍스트 특징을 통계적으로 안정적으로 식별함을 입증했다.
• 신경 추론 모델은 유의미한 인과적 설명 시퀀스 생성 능력을 보여주는 BLEU 점수를 확보했다.
• 인간 평가 결과, 57.5%의 참가자가 신경 추론 모델이 생성한 설명을 상징적 추론 모델보다 선호하여, 더 뛰어난 유창성과 설득력이 있음을 확인했다.
• 상징적 추론 모델은 인간 선호 평가에서 42.5%의 정확도를 기록하여 규칙 기반 접근의 어휘적·맥락적 다양성 부족을 드러냈다.
• 시스템은 시간적으로 일관된 인과 체인을 성공적으로 식별하였으며, 예를 들어 '예산 삭감 → 예산 안건 축소 → 공화당 지지율 감소 → 오바마 지지율 하락 → 페이스북 주가 급락'과 같은 체인을 통해 종단 간 설명 생성을 구현했다.
• CGraph는 1억 8300만 문장에서 유도된 5,025,636개의 인과 간선을 포함하며, 인과 추론을 위한 풍부하고 구조화된 지식 기반을 제공한다.