[논문 리뷰] Verifying the Medical Specialty from User Profile of Online Community for Health-Related Advices

Соломія Федушко, Nataliya Shakhovska외 1명|arXiv (Cornell University)|2018. 12. 15.

Information Systems and Technology Applications참고 문헌 10인용 수 9

한 줄 요약

이 논문은 온라인 건강 커뮤니티의 사용자 프로필에서 의료 전문 분야를 언어학적 방법으로 확인하는 방법을 제안한다. 사용자 게시물의 언어적 및 의사소통적 지표를 분석함으로써, 3,000명 이상의 우크라이나어 사용자를 포함한 훈련 샘플을 바탕으로, 전문 분야를 분류하고 검증하기 위한 가중치가 부여된 지표 행렬을 구성한다. 실제 '우크라이나 의사 포럼'에서의 테스트 결과, 의료 전문 분야의 검증률은 25.75%를 기록했다.

ABSTRACT

The paper describes the verifying methods of medical specialty from user profile of online community for health-related advices. To avoid critical situations with the proliferation of unverified and inaccurate information in medical online community, it is necessary to develop a comprehensive software solution for verifying the user medical specialty of online community for health-related advices. The algorithm for forming the information profile of a medical online community user is designed. The scheme systems of formation of indicators of user specialization in the profession based on a training sample is presented. The method of forming the user information profile of online community for healthrelated advices by computer-linguistic analysis of the information content is suggested. The system of indicators based on a training sample of users in medical online communities is formed. The matrix of medical specialties indicators and method of determining weight coefficients these indicators is investigated. The proposed method of verifying the medical specialty from user profile is tested in online medical community.

연구 동기 및 목표

• 온라인 건강 커뮤니티에서 검증되지 않은 잠재적으로 해로운 의료 조언 문제를 해결하기 위해.
• 사용자 프로필 및 게시물 내용을 바탕으로 의료 전문 분야를 검증하는 실용적이고 소프트웨어 기반의 방법을 개발하기 위해.
• 사용자의 의료 전문 분야를 신뢰할 수 있게 반영하는 언어적 및 의사소통 지표의 체계를 체계화하기 위해.
• 실제 온라인 의료 커뮤니티에서 이 방법을 적용하여 그 효과성과 신뢰성을 검증하기 위해.
• 커뮤니티 관리자가 능력 있는 검증된 의료 기여자들을 식별하고 자격이 없는 조언을 걸러내는 데를 지원하기 위해.

제안 방법

• 신뢰할 수 있는 출처에서 검증된 사용자 훈련 샘플을 구성하며, 이는 장기간의 명성을 가진 관리자 및 모더레이터를 포함한다.
• 사용자 정보 트랙의 자동 분석을 통해 특정 의료 전문 분야와 관련된 언어적 지표—문법적, 어휘-의미적, 어휘-구문적 특징—을 식별한다.
• 두 개의 우크라이나어 의료 포럼의 주제별 섹션을 분석하여 각 의료 전문 분야별 지표 세트를 구성한다.
• 다단계 컴퓨터 모니터링 시스템을 활용해 빈도와 관련성에 따라 가중치 계수를 할당함으로써 의료 전문 분야 지표의 행렬을 개발한다.
• 게시물 내용에서 사용자 정보 프로필을 구축하기 위해 컴퓨터 언어학적 분석을 적용하며, 전문 분야 데이터의 일관성과 완전성에 따라 프로필을 '검증됨' 또는 '검증되지 않음'으로 태그한다.
• 사용자 정보 트랙을 처리하고 개인 정보를 검증하며, 사용자를 '검증됨' 또는 '검증되지 않음'의 전문 분야 카테고리로 분류하기 위한 체계화된 알고리즘을 활용한다.

실험 결과

연구 질문

• RQ1 사용자 게시물의 언어적 및 의사소통적 특징이 온라인 건강 커뮤니티에서 사용자의 의료 전문 분야를 신뢰성 있게 나타낼 수 있는가?
• RQ2 사용자 콘텐츠를 바탕으로 의료 전문 분야를 구분하기 위해 가중치가 부여된 지표 체계는 어떻게 구성할 수 있는가?
• RQ3 이 방법을 실제 운영 중인 온라인 의료 커뮤니티에 적용했을 때 의료 전문 분야의 실제 검증률은 얼마인가?
• RQ4 자동화된 컴퓨터 언어학적 분석은 온라인 포럼에서 자격이 없는 의료 조언의 위험을 얼마나 줄일 수 있는가?
• RQ5 이 방법은 검증된 의료 전문가와 잘못되거나 누락된 전문 분야 정보를 가진 사용자 간에 얼마나 효과적으로 구분할 수 있는가?

주요 결과

• 사용자가 자신의 프로필에 전문 분야를 명시한 '우크라이나 의사 포럼'에서 이 방법을 적용한 결과, 의료 전문 분야의 검증률은 25.75%를 기록했다.
• 커뮤니티의 49.16%의 사용자가 의료 전문 분야를 기재하고 있어, 검증 가능한 기여자 기반의 잠재력이 크다는 것을 시사한다.
• 5.69%의 사용자가 비의료 전문 분야를 잘못 기재하여, 오락성 정보를 방지하기 위해 자동 검증이 필요함을 보여준다.
• 사용자 프로필의 25.96%는 의료 전문 분야에 대한 데이터가 전혀 없어, 자동 검증 대상이 되는 후보군이다.
• 4.65%의 사용자가 잘못된 전문 분야 정보를 제공하여, 온라인 의료 커뮤니티에서 검증되지 않은 프로필이 초래하는 위험성을 입증한다.
• 컴퓨터 언어학적 분석을 통해 사용자 정보 프로필을 성공적으로 분류하였으며, 이는 관리자가 검증되지 않은 또는 오해의 소지가 있는 프로필을 경고하는 데에 기여한다.