[論文レビュー] People on Drugs: Credibility of User Statements in Health Communities

Subhabrata Mukherjee, Gerhard Weikum+1 more|arXiv (Cornell University)|May 6, 2017

Misinformation and Its Impacts参考文献 18被引用数 15

ひとこと要約

本稿では、オンラインの健康コミュニティにおいて、ユーザーの信頼性、発言の信憑性、言語的客観性を統合的に推論する確率的グラフィカルモデルを提案する。言語的特徴、ユーザー行動、および専門家データベースからの遠隔教師付き学習を組み合わせることで、まれなまたは未知の副作用を著しく改善して抽出し、誤情報のフィルタリングも行う。

ABSTRACT

Online health communities are a valuable source of information for patients and physicians. However, such user-generated resources are often plagued by inaccuracies and misinformation. In this work we propose a method for automatically establishing the credibility of user-generated medical statements and the trustworthiness of their authors by exploiting linguistic cues and distant supervision from expert sources. To this end we introduce a probabilistic graphical model that jointly learns user trustworthiness, statement credibility, and language objectivity. We apply this methodology to the task of extracting rare or unknown side-effects of medical drugs --- this being one of the problems where large scale non-expert data has the potential to complement expert medical knowledge. We show that our method can reliably extract side-effects and filter out false statements, while identifying trustworthy users that are likely to contribute valuable medical information.

研究の動機と目的

• まれなまたは未知の薬物副作用に関する誤情報の問題に対処する。
• オンラインの健康コミュニティにおいて、ユーザー信頼性、発言の信憑性、言語の客観性を統合的にモデル化する。
• 言語的および行動的信号を用いて、非専門家の投稿から信頼性の高い副作用抽出を向上させる。
• 正確な医療情報を提供する可能性の高い信頼できるユーザーを特定する。
• 専門家の医療知識を、オンラインフォーラムからの大規模な非専門家データで補完する。

提案手法

• ユーザー、投稿、発言のノードを有するマルコフ確率的場（MRF）を構築し、信頼性、客観性、信憑性を二値の確率的変数としてモデル化する。
• 助動詞、論理接続詞、感情的兆候（例：不安、自信）などの言語的特徴を用いて、言語の客観性を評価する。
• コミュニティ参加度やステータスを用いて、半教師付き学習によりユーザー信頼性を推定し、専門家データベースからのラベル付き副作用発言を活用する。
• EステップでMCMCサンプリングを、Mステップで信頼領域ニュートン法を用いたEMフレームワークにより、統合的推論とパラメータ推定を実現する。
• 外部の医療データベースを用いて、副作用発言の一部を真または偽としてラベル付けすることにより、遠隔教師付き学習を適用する。
• 議論的および感情的特徴を統合し、感情的で偏ったものとは対照的に、信頼できる客観的な発言を区別する。

実験結果

リサーチクエスチョン

• RQ1 ユーザー信頼性、発言の信憑性、言語の客観性を統合的にモデル化することで、オンラインの健康フォーラムにおける信頼できる薬物副作用報告の検出が向上するか？
• RQ2 客観性や感情的トーンといった言語的手がかりは、医療発言の信憑性とどの程度相関するか？
• RQ3 ユーザー行動およびコミュニティ内での立場は、医療的主張の信頼性をどの程度予測できるか？
• RQ4 半教師付き確率的モデルは、非専門家の投稿からまれなまたは未知の副作用を効果的に抽出できるか？
• RQ5 本モデルは、誤った主張をフィルタリングしながら、まれだが正確な副作用報告を保持する点で、ベースラインと比較してどの程度優れているか？

主な発見

• 本モデルは、専門家の医療知識と照合した結果、すべてのベースラインを著しく上回って信頼できる薬物副作用を抽出した。
• 本モデルは、正確な医療情報を提供する可能性の高い信頼できるユーザーを高い正確性で特定した。
• ユーザー信頼性と言語的客観性は、発言の信憑性の強力な予測因子であり、感情的で偏った言語は信頼性の低下を示した。
• 統合的推論フレームワークにより、ユーザーまたは言語を個別にモデル化するのと比較して、副作用抽出における精度と再現率が向上した。
• ユーザースタディの結果、本モデルは標準の医療データベースに記録のないまれな副作用を効果的に同定でき、専門家の知識を補完する価値があることを確認した。
• 高い性能を示したが、再現率は、同義語的言い換え（例：「悪夢」対「不思議な夢」）を検出できない情報抽出（IE）システムの限界によって制限されており、より優れたIEツールの導入により改善の余地がある。