[논문 리뷰] People on Drugs: Credibility of User Statements in Health Communities

Subhabrata Mukherjee, Gerhard Weikum외 1명|arXiv (Cornell University)|2017. 05. 06.

Misinformation and Its Impacts참고 문헌 18인용 수 15

한 줄 요약

이 논문은 온라인 건강 커뮤니티에서 사용자 신뢰성, 진술 신뢰성, 언어적 객관성을 동시에 추론하는 확률적 그래픽 모델을 제안하여 신뢰할 만한 약물 부작용 보고를 식별한다. 언어적 특징, 사용자 행동, 전문가 데이터베이스로부터의 원거리 지도 학습을 융합함으로써 희귀하거나 알려지지 않은 부작용을 효과적으로 추출하고 위성 정보를 걸러내는 데 기여한다.

ABSTRACT

Online health communities are a valuable source of information for patients and physicians. However, such user-generated resources are often plagued by inaccuracies and misinformation. In this work we propose a method for automatically establishing the credibility of user-generated medical statements and the trustworthiness of their authors by exploiting linguistic cues and distant supervision from expert sources. To this end we introduce a probabilistic graphical model that jointly learns user trustworthiness, statement credibility, and language objectivity. We apply this methodology to the task of extracting rare or unknown side-effects of medical drugs --- this being one of the problems where large scale non-expert data has the potential to complement expert medical knowledge. We show that our method can reliably extract side-effects and filter out false statements, while identifying trustworthy users that are likely to contribute valuable medical information.

연구 동기 및 목표

• 희귀하거나 알려지지 않은 약물 부작용에 관해 발생하는 오락성 정보 문제를 해결하기 위해.
• 온라인 건강 커뮤니티에서 사용자 신뢰성, 진술 신뢰성, 언어 객관성을 동시에 모델링하기 위해.
• 비전문가 사용자 게시물에서 언어적 및 행동적 신호를 활용해 부작용 추출의 신뢰성을 향상시키기 위해.
• 정확한 의료 정보를 기여할 가능성이 높은 신뢰할 만한 사용자를 식별하기 위해.
• 대규모 비전문가 데이터를 온라인 포럼에서 확보하여 전문가 의료 지식을 보완하기 위해.

제안 방법

• 사용자, 게시물, 진술을 노드로 하는 마르코프 무작위 필드(MRF)를 구성하여, 신뢰성, 객관성, 신뢰성을 이진 랜덤 변수로 모델링한다.
• 모달 어휘, 추론적 접속사, 정서적 신호(예: 불안, 자신감 등)와 같은 언어적 특징을 사용해 언어 객관성을 평가한다.
• 커뮤니티 참여도 및 신뢰도를 기반으로 사용자 신뢰성을 추론하며, 전문가 데이터베이스에서 레이블링된 부작용 진술을 활용한 준지도 학습을 적용한다.
• E단계에서 MCMC 샘플링을, M단계에서 신뢰 영역 뉴턴 방법을 사용하는 EM 프레임워크를 통해 동시 추론 및 파라미터 추정을 수행한다.
• 외부 의료 데이터베이스를 활용해 일부 부작용 진술을 참 또는 거짓으로 레이블링하여 원거리 지도 학습을 적용한다.
• 논의적 특징과 정서적 특징을 통합하여 정서적으로 격해지거나 편향된 언어와 신뢰할 수 있는 객관적 진술을 구분한다.

실험 결과

연구 질문

• RQ1 사용자 신뢰성, 진술 신뢰성, 언어 객관성을 동시에 모델링함으로써 온라인 건강 포럼에서 신뢰할 수 있는 약물 부작용 보고를 더 잘 식별할 수 있는가?
• RQ2 객관성 및 정서적 어조와 같은 언어적 신호는 의료 진술의 신뢰성과 어떻게 관련이 있는가?
• RQ3 사용자 행동과 커뮤니티 내 지위는 의료 진술의 신뢰성 예측에 어느 정도 기여하는가?
• RQ4 준지도 학습 기반의 확률적 모델이 비전문가 사용자 게시물에서 희귀하거나 알려지지 않은 부작용을 효과적으로 추출할 수 있는가?
• RQ5 모델은 거짓 진술을 걸러내는 데서 기존 기준 모델보다 어떻게 성능을 높이며, 희귀하지만 정확한 부작용 보고를 유지하는가?

주요 결과

• 모델은 전문가 의료 지식과의 비교 검증을 통해 모든 기준 모델보다 뛰어난 성능을 보이며, 정확한 약물 부작용 보고를 추출한다.
• 모델은 더 정확한 의료 정보를 보고할 가능성이 높은 신뢰할 수 있는 사용자를 높은 정확도로 식별한다.
• 사용자 신뢰성과 언어 객관성은 진술 신뢰성의 강력한 예측 변수이며, 정서적으로 격해지거나 편향된 언어는 신뢰도 감소에 기여한다.
• 동시 추론 프레임워크는 사용자나 언어를 별도로 모델링하는 것보다 부작용 추출의 정밀도와 재현율을 모두 향상시킨다.
• 사용자 연구를 통해 모델이 표준 의료 데이터베이스에 포함되지 않은 희귀 부작용을 효과적으로 식별함을 확인하였으며, 전문가 지식의 보완 가치를 입증한다.
• 강력한 성능에도 불구하고, 복잡한 어휘 변형(예: '야간 꿈' vs. '이상한 꿈')을 탐지하지 못하는 정보 추출 시스템의 한계로 인해 재현율이 제한되어 있으며, 향후 더 나은 정보 추출 도구 개선이 필요하다.