[논문 리뷰] Ex-Twit: Explainable Twitter Mining on Health Data

Tunazzina Islam|arXiv (Cornell University)|2019. 05. 24.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 건강 관련 데이터에서 설명 가능한 트위터 마이닝을 위한 Ex-Twit를 제안한다. Ex-Twit는 주제 모델링(LDA, NMF, LSA)과 LIME을 결합한 방법으로, 주제 예측에서 테스트 정확도 80%를 달성하며, 모델 예측의 근거가 되는 주요 단어를 강조함으로써 국소적이고 인스턴스 수준의 설명을 제공한다. 이는 비지도 NLP 응용 분야에서 신뢰성과 해석 가능성을 높인다.

ABSTRACT

Since most machine learning models provide no explanations for the predictions, their predictions are obscure for the human. The ability to explain a model's prediction has become a necessity in many applications including Twitter mining. In this work, we propose a method called Explainable Twitter Mining (Ex-Twit) combining Topic Modeling and Local Interpretable Model-agnostic Explanation (LIME) to predict the topic and explain the model predictions. We demonstrate the effectiveness of Ex-Twit on Twitter health-related data.

연구 동기 및 목표

• 트위터 마이닝에 사용되는 블랙박스 기계학습 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 비구조적 트위터 텍스트의 주제를 예측할 뿐 아니라 각 예측의 근거를 설명할 수 있는 방법을 개발하기 위해.
• LIME를 사용해 국소적이고 단어 수준의 설명을 제공함으로써 인간 사용자가 모델 출력을 신뢰하고 검증할 수 있도록 하기 위해.
• 실제 건강 관련 트위터 데이터를 대상으로 본 방법의 효과성을 평가하고, 모델 예측을 인간 레이블링 주제와 비교하기 위해.
• 설명 가능한 AI 기법이 주제 모델링과 효과적으로 통합되어 소셜 미디어 분석의 투명성을 향상시킬 수 있음을 보여주기 위해.

제안 방법

• 본 방법은 건강 관련 트위터 텍스트의 잠재 주제를 발견하기 위해 잠재적 디리히레 분포(LDA), 비음수 행렬 분해(NMF), 잠재의미분석(LSA)의 세 가지 주제 모델링 기법을 활용한다.
• 최적의 주제 수는 일관성 점수 최대화를 통해 선정되며, 이는 일관성 점수 대 주제 수 그래프로 시각화된다.
• 주제 모델링 이후 LIME을 적용하여 입력 트위터를 변형하고 각 예측에 가장 영향을 미치는 단어를 식별함으로써 국소적이고 인스턴스 수준의 설명을 생성한다.
• 각 트위터에 대해 모델은 각 주제에 대해 예측 확률과 LIME 점수를 할당하며, 초록 마커는 주제 키워드와 일치하는 단어를, 빨간 마커는 일치하지 않는 단어를 나타낸다.
• 로컬 LIME 설명과 글로벌 주제 모델 간 유사도를 측정하기 위해 평균 쿨백-라이블러(KL) 발산을 사용하며, 이는 설명의 정확도를 정량화한다.
• 설명은 시각화되어 트위터의 어떤 단어가 예측 주제를 가장 강하게 지지하는지 명확히 하여 인간의 검토와 검증을 가능하게 한다.

실험 결과

연구 질문

• RQ1 건강 관련 트위터 데이터에서 주제 모델링 예측의 해석 가능성은 어떻게 향상시킬 수 있는가?
• RQ2 실제 트위터 데이터에서 모델 예측은 인간 레이블링 주제와 어느 정도 일치하는가?
• RQ3 LIME는 특정 트위터에 주어진 주제가 왜 선택되었는지를 설명할 수 있는 의미 있는 국소적 설명을 제공할 수 있는가?
• RQ4 트위터의 주요 단어들이 모델의 예측에 어떻게 영향을 미치며, 이러한 단어들은 투명성을 위해 어떻게 시각적으로 강조될 수 있는가?
• RQ5 LDA-LIME 프레임워크의 성능은 예측 정확도와 설명 품질 측면에서 어떻게 평가되는가?

주요 결과

• 예측 주제를 인간 레이블링 기준으로 비교했을 때, 모델은 학습 세트에서 93%의 정확도, 테스트 세트에서 80%의 정확도를 달성했다.
• 테스트 데이터의 4번째 행에서, 모델은 주제 1을 약 0.89의 확률로 예측했고, LIME 점수는 약 2.4였으며, 이는 '다이어트'와 '지미'라는 일치 키워드에 의해 지지되었다.
• 예측과 인간 레이블이 일치하지 않는 경우(6번째 행), 모델은 주제 4를 0.82의 확률로 예측했으며, 이는 주제 4의 키워드 목록에 포함된 '피트니스', '웰빙', '좋음'과의 일치로 인해 발생했다.
• 잘못된 예측에 대한 설명은 '수영'이라는 단어가 주제 3(정확한 인간 레이블)과 일치하지만, 모델은 더 강한 단어 일치와 더 높은 예측 신뢰도로 인해 주제 4를 선호함을 보여주었다.
• 정확히 예측된 학습 예제의 경우 평균 KL 발산은 0.026였고, 잘못 분류된 테스트 예제의 경우 0.061이었으며, 이는 다양한 인스턴스에서 설명의 정확도가 달라질 수 있음을 시사한다.
• LIME 시각화는 지지 단어와 충돌 단어를 모두 성공적으로 강조하여 예측의 논리적 근거와 인간 레이블과의 견해 차이를 명확히 진단하는 데 기여했다.