[論文レビュー] Ex-Twit: Explainable Twitter Mining on Health Data

Tunazzina Islam|arXiv (Cornell University)|May 24, 2019

Topic Modeling被引用数 4

ひとこと要約

本稿では、トピックモデリング（LDA、NMF、LSA）とLIMEを組み合わせたEx-Twitという手法を提案する。これは、健康関連データにおける説明可能なTwitterマイニングを目的としており、トピック予測で80%のテスト精度を達成するとともに、モデル予測の根拠を示す顕著な語句を強調することで、局所的かつインスタンスレベルの説明を提供する。これにより、非教師ありNLP応用における信頼性と解釈可能性が向上する。

ABSTRACT

Since most machine learning models provide no explanations for the predictions, their predictions are obscure for the human. The ability to explain a model's prediction has become a necessity in many applications including Twitter mining. In this work, we propose a method called Explainable Twitter Mining (Ex-Twit) combining Topic Modeling and Local Interpretable Model-agnostic Explanation (LIME) to predict the topic and explain the model predictions. We demonstrate the effectiveness of Ex-Twit on Twitter health-related data.

研究の動機と目的

• ブラックボックスな機械学習モデルがTwitterマイニングに用いられる際の解釈不能性の問題に対処すること。特に、健康関連の文脈において。
• 未構造化されたTwitterテキストのトピックを予測するだけでなく、各予測の根拠を説明する手法を開発すること。
• LIMEを用いて、語レベルの局所的説明を提供することで、人間のユーザーがモデル出力を信頼し、検証できるようにすること。
• 実世界の健康関連Twitterデータを用いて、本手法の有効性を評価し、モデル予測と人間によるアノテーション済みトピックを比較すること。
• 説明可能なAI技術が、トピックモデリングと統合されることで、ソーシャルメディア分析における透明性が向上することを示すこと。

提案手法

• 本手法は、健康関連のツイートに内在するトピックを発見するために、3つのトピックモデリング手法—潜在ディリクレ配分（LDA）、非負値行列分解（NMF）、および顕在的意味解析（LSA）—を用いる。
• 最適なトピック数は、一貫性スコアの最大化により選定され、一貫性スコアとトピック数のグラフで可視化される。
• トピックモデリングの後続処理として、LIMEを適用し、入力ツイートを変更することで、各予測に対して最も影響力のある語を同定することで、局所的かつインスタンスレベルの説明を生成する。
• 各ツイートについて、モデルは各トピックに対する予測確率とLIMEスコアを割り当てる。緑のマーカーはトピックキーワードと一致する語を示し、赤のマーカーは不一致を示す。
• ローカルなLIME説明とグローバルなトピックモデルとの類似度を測るために、平均カルバック・ライブララー（KL）ダイバージェンスを用いる。これにより、説明の忠実度が定量化される。
• 説明は可視化され、どの語が予測されたトピックを強く支持しているかが明確になる。これにより、人間による検査と検証が可能になる。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、健康関連のTwitterデータにおけるトピックモデリング予測の解釈性を向上させることができるか？
• RQ2 モデルの予測は、実世界のTwitterデータにおける人間によるアノテーション済みトピックとどの程度一致するか？
• RQ3 LIMEは、特定のトピックが特定のツイートに割り当てられた理由を明確にする意味のある局所的説明を提供できるか？
• RQ4 ツイート内の顕著な語がモデルの予測にどのように影響を与えるか。また、それらの語は透明性を高めるために視覚的に強調できるか？
• RQ5 LDA-LIMEフレームワークの性能は、予測精度と説明品質の観点でどの程度か？

主な発見

• モデルは、訓練データでは93%の精度、テストデータでは80%の精度を示した。これは、予測されたトピックと人間によるアノテーション済みの真値を比較した結果である。
• テストデータの4行目では、モデルはTopic 1を約0.89の確率で予測し、LIMEスコアは約2.4であった。これは、キーワード「diet」と「gym」との一致によって裏付けられていた。
• モデルと人間のアノテーションが一致しなかったケース（6行目）では、モデルはTopic 4を0.82の確率で予測した。これは、Topic 4のキーワードリストに含まれる「fitness」、「wellness」、および「great」との一致が主な要因であった。
• 誤って一致しなかった予測の説明では、「swimming」がTopic 3（正解の人間ラベル）と一致していたが、モデルはより強い語の一致と高い予測信頼度から、Topic 4を優先していた。
• 正しく予測された訓練例では平均KLダイバージェンスが0.026、誤分類されたテスト例では0.061であった。これは、インスタンスごとの説明の忠実度にばらつきがあることを示している。
• LIMEの可視化は、支持語と矛盾語の両方を成功裏に強調しており、予測の根拠と人間ラベルとの乖離を明確に診断可能にした。