[논문 리뷰] Using text mining and machine learning for detection of child abuse

Chintan Amrit, Tim Paauw외 2명|arXiv (Cornell University)|2016. 11. 11.

Data Quality and Management참고 문헌 31인용 수 5

한 줄 요약

이 논문은 네덜란드의 소아과 의사 상담 기록에서 구조화된 데이터와 비정형 자유 텍스트 노트를 분석함으로써 잠재적 아동학대를 탐지하는 기계학습 기반 의사결정 지원 시스템을 제안한다. 텍스트 마이닝 및 앙상블 모델링(랜덤 포레스트 및 SVM)을 활용하여 높은 AUC 성능를 달성하였으며, 보안성 확보된 RESTful API를 통해 시민 소아보건 시스템에 성공적으로 구현되어 임상의 피드백 통합을 통해 사례 식별 능력을 향상시켰다.

ABSTRACT

Abuse in any form is a grave threat to a child's health. Public health institutions in the Netherlands try to identify and prevent different kinds of abuse, and building a decision support system can help such institutions achieve this goal. Such decision support relies on the analysis of relevant child health data. A significant part of the medical data that the institutions have on children is unstructured, and in the form of free text notes. In this research, we employ machine learning and text mining techniques to detect patterns of possible child abuse in the data. The resulting model achieves a high score in classifying cases of possible abuse. We then describe our implementation of the decision support API at a municipality in the Netherlands.

연구 동기 및 목표

• 소아과 상담 기록의 자유 텍스트 노트에 학대 징후를 탐지할 수 있는 패턴이 포함되어 있는지 조사한다.
• 특히 앙상블 모델을 포함한 다양한 기계학습 방법의 효과성을 비교하여, 구조화된 데이터와 비구조화된 데이터를 모두 활용한 학대 탐지에 대해 평가한다.
• 전문 소아과 의사의 평가를 통해 시스템의 성능을 평가하여 임상적 관련성과 사용 가능성을 확보한다.
• 실제 도시 소아보건 시스템(JGZ) 내에서 보안성 확보된 피드백 기반 의사결정 지원 API를 구현 및 배포한다.

제안 방법

• 연구는 네덜란드 공공보건 서비스에서 확보한 0~4세 어린이의 15건 이상의 상담 기록을 포함한 데이터셋을 사용하였으며, 이는 구조화된 데이터(예: 키, 체중)와 비구조화된 임상 노트를 모두 포함한다.
• 자연어 처리 기반 전처리 및 임bedding 방법을 포함한 텍스트 마이닝 기법을 적용하여 자유 텍스트 노트에서 특징을 추출하였다.
• 랜덤 포레스트, 서포트 벡터 머신, 그리고 구조화된 데이터와 비구조화된 데이터를 결합한 앙상블 모델을 포함한 여러 기계학습 모델을 학습 및 평가하였다.
• Flask를 사용하여 모델를 노출하는 RESTful API를 구축하여, 어린이 파일이 닫힐 때 실시간 예측을 가능하게 하고 전문가가 피드백을 제출할 수 있도록 하였다.
• 모델는 매일 밤 원래의 학습 데이터와 함께 임상의가 제공한 피드백을 포함하여 재학습되어 장기적인 성능 향상을 이끌어냈다.
• 모든 데이터는 익명화되었으며, 민감한 임상 환경에서의 개인정보 보호 및 보안을 확보하기 위해 SSL 보호된 연결을 통해 전송되었다.

실험 결과

연구 질문

• RQ1 소아과 상담의 자유 텍스트 임상 노트는 학대 징후를 암시하는 의미 있는 패턴을 담고 있는가?
• RQ2 구조화된 데이터와 비구조화된 건강 데이터를 결합할 때, 어떤 기계학습 모델이 학대 탐지에 가장 우수한 성능을 보이는가?
• RQ3 자동 탐지 성능는 아동학대 전담 담당자의 전문적 판단과 비교해 볼 때 어떻게 평가되는가?
• RQ4 피드백 기반, API 배포된 의사결정 지원 시스템은 실제 청소년 보건 워크플로우에 효과적으로 통합될 수 있는가?

주요 결과

• 구조화된 데이터와 비구조화된 데이터를 모두 포함한 앙상블 모델이 가장 높은 성능을 보였으며, AUC 지표가 평가에 가장 적합한 측정 기준으로 확인되었다.
• 전문 전담 담당자의 판단과 모델의 예측 간 높은 일치도를 보였으며, 이는 강력한 임상적 타당성과 사용자 수용성을 시사한다.
• 시스템은 JGZ의 고객 관리 시스템 내에서 보안성 확보된 RESTful API로 성공적으로 배포되어 하루 약 650건의 예측을 처리하였다.
• 임상의 피드백을 모델의 재학습 주기에 통합함으로써 장기적으로 지속적인 성능 향상이 가능했다.
• 모델의 예측 결과는 팝업 알림을 통해 실시간으로 경고를 발생시켜 전문가가 의심 사례를 검토하고 정확히 기록하도록 유도하였다.
• 이러한 접근은 비구조화된 임상 노트가 구조화된 데이터만으로는 확보할 수 없는 유의미한 실용적 통찰을 제공할 수 있음을 입증하였다.