[論文レビュー] Using text mining and machine learning for detection of child abuse

Chintan Amrit, Tim Paauw+2 more|arXiv (Cornell University)|Nov 11, 2016

Data Quality and Management参考文献 31被引用数 5

ひとこと要約

本論文は、オランダの小児科医による診察記録の構造化済みデータおよび自由記述型のノートを分析することで、児童虐待の兆候を検出する機械学習ベースの意思決定支援システムを提案する。自然言語処理とアンサンブルモデル（ランダムフォレストおよびSVM）を用いて、高いAUC性能を達成し、安全なRESTful APIを介して市役所の若年層保健ケアシステムに成功裏に実装された。臨床医のフィードバック統合により、症例の同定が向上した。

ABSTRACT

Abuse in any form is a grave threat to a child's health. Public health institutions in the Netherlands try to identify and prevent different kinds of abuse, and building a decision support system can help such institutions achieve this goal. Such decision support relies on the analysis of relevant child health data. A significant part of the medical data that the institutions have on children is unstructured, and in the form of free text notes. In this research, we employ machine learning and text mining techniques to detect patterns of possible child abuse in the data. The resulting model achieves a high score in classifying cases of possible abuse. We then describe our implementation of the decision support API at a municipality in the Netherlands.

研究の動機と目的

• 自由記述型の小児科診察ノートに、児童虐待を示す検出可能なパターンが含まれるかどうかを調査すること。
• 特にアンサンブルモデルを含む、さまざまな機械学習手法（構造化済みおよび非構造化健康データの両方を用いた）が、虐待検出においてどの程度効果的であるかを比較すること。
• 専門の小児科医による判断を通じて、システムの性能を評価し、臨床的妥当性および実用性を保証すること。
• 実際の市役所の若年層保健ケアシステム（JGZ）内に、安全でフィードバックを反映した意思決定支援APIを実装・展開すること。

提案手法

• 本研究では、オランダの公衆衛生サービスが提供する、0〜4歳の児童1人あたり15件以上の診察記録（構造化済みデータ（例：身長、体重）および非構造化臨床ノートを含む）のデータセットを用いた。
• 自由記述型ノートからの特徴抽出に、自然言語処理に基づく前処理および埋め込み手法を適用したテキストマイニング技術を用いた。
• ランダムフォレスト、サポートベクターマシン、および構造化済みおよび非構造化データを統合したアンサンブルモデルを含む、複数の機械学習モデルを訓練および評価した。
• Flaskを用いて、モデルを公開するRESTful APIを構築し、児童ファイルが閉じられた際にリアルタイムでの予測を可能とし、専門家がフィードバックを提出できるようにした。
• モデルは、オリジナルのトレーニングデータに加えて、臨床医が提供したフィードバックを毎晩再訓練することで、長期的な性能向上を図った。
• すべてのデータは匿名化され、SSL保護された接続を介して転送され、感受性の高い臨床的文脈における機微なプライバシーおよびセキュリティを確保した。

実験結果

リサーチクエスチョン

• RQ1 小児科診察の自由記述型臨床ノートに、児童虐待を示す意味のあるパターンが含まれる可能性はあるか？
• RQ2 構造化済みおよび非構造化健康データを統合した場合、どの機械学習モデルが児童虐待検出において最も優れた性能を示すか？
• RQ3 自動検出の性能は、児童虐待専門の連絡担当医の判断と比較してどの程度の水準にあるか？
• RQ4 フィードバックを反映した、APIを介した意思決定支援システムは、現実の若年層保健ケアワークフローに効果的に統合可能か？

主な発見

• 構造化済みおよび非構造化データを統合したアンサンブルモデルが最高の性能を示し、AUC（受診者操作特性曲線の下側面積）が最も適切な評価指標として特定された。
• 専門の連絡担当医の判断とモデルの予測との間に高い一致度が確認され、臨床的妥当性およびユーザー受容性の両面で強い証明が得られた。
• システムは、JGZのクライアント管理システム内に安全なRESTful APIとして成功裏に実装され、1日あたり約650件の予測を処理した。
• 臨床医のフィードバックをモデルの再トレーニングサイクルに統合することで、時間の経過とともに継続的な性能向上が実現した。
• モデルの予測は、ポップアップによるリアルタイムアラートを発動させ、専門家が疑わしき症例を確認し、適切に登録するよう促した。
• 本アプローチにより、非構造化臨床ノートに、構造化データのみに依存するのとは異なる、価値ある行動可能なインサイトが含まれることが示された。