[論文レビュー] Mining Healthcare Procurement Data Using Text Mining and Natural Language Processing -- Reflection From An Industrial Project

Ziqi Zhang, Tomas Jasaitis+3 more|arXiv (Cornell University)|Jan 9, 2023

Outsourcing and Supply Chain Management被引用数 6

ひとこと要約

本論文は、数百万件に及ぶ多様で多言語の医療調達文書から構造化された調達契約データを抽出するテキストマイニングおよびNLPの実世界産業応用を提示する。ドメイン知識を活用し、スケーラブルで多言語対応の手法を用いることで、動的サプライヤー評価を可能にする、医療分野で初の大規模な構造化された調達契約データベースを構築した。同時に、複雑な実世界環境における実用的NLP導入における主な課題と教訓を文書化した。

ABSTRACT

While text mining and NLP research has been established for decades, there remain gaps in the literature that reports the use of these techniques in building real-world applications. For example, they typically look at single and sometimes simplified tasks, and do not discuss in-depth data heterogeneity and inconsistency that is common in real-world problems or their implication on the development of their methods. Also, few prior work has focused on the healthcare domain. In this work, we describe an industry project that developed text mining and NLP solutions to mine millions of heterogeneous, multilingual procurement documents in the healthcare sector. We extract structured procurement contract data that is used to power a platform for dynamically assessing supplier risks. Our work makes unique contributions in a number of ways. First, we deal with highly heterogeneous, multilingual data and we document our approach to tackle these challenges. This is mainly based on a method that effectively uses domain knowledge and generalises to multiple text mining and NLP tasks and languages. Second, applying this method to mine millions of procurement documents, we develop the first structured procurement contract database that will help facilitate the tendering process. Second, Finally, we discuss lessons learned for practical text mining/NLP development, and make recommendations for future research and practice.

研究の動機と目的

• 医療調達分野における実世界NLP応用の不足に対処するため、多様で多言語のデータを扱えるスケーラブルなテキストマイニングソリューションの開発。
• 非構造化調達文書から数百万件の構造化された契約データを抽出し、動的サプライヤー評価を支援すること。
• 産業的NLPプロジェクトにおけるデータの多様性、一貫性の欠如、多言語性に関連する実用的課題と解決策を文書化・共有すること。
• 複雑で分野特化型の産業的環境におけるNLPの導入に向けた基盤を築くために、今後の研究に役立つ具体的な提言を提供すること。

提案手法

• 多様な調達文書におけるデータの多様性と一貫性の欠如に対処できる、ドメイン知識を統合したNLPパイプラインを設計した。
• 複数の言語で、名前付きエンティティ抽出、関係抽出、文書分類などのテキストマイニングおよびNLPタスクをサポートする。
• ルールベースのヒューリスティクスと事前学習済み多言語言語モデル（例：mBERT）を組み合わせたハイブリッドアプローチを採用し、モデルの頑健性と一般化性能を向上させた。
• データ前処理には正規化、言語識別、多言語トークン化を含め、文書タイプや言語にかかわらず入力を標準化した。
• ドメインエキスパートからのフィードバックと、アノテート済み調達文書サンプルを用いた検証を通じて、反復的にシステムを最適化した。
• 効率的に数百万件の調達文書を処理・構造化できるスケーラブルなデータパイプラインを実装した。

実験結果

リサーチクエスチョン

• RQ1 実産業環境において、極めて多様で多言語の医療調達文書に効果的にNLP技術を適用する方法は何か？
• RQ2 ドメイン知識は、多様な調達文書形式において、テキストマイニングモデルの頑健性と一般化性能を向上させる上で果たす役割は何か？
• RQ3 データの一貫性の欠如や多様性を体系的に是正することで、大規模かつ信頼性の高い情報抽出を実現するにはどうすればよいか？
• RQ4 実世界の医療調達応用におけるNLPシステムの導入に際して、主な実用的課題は何か？
• RQ5 今後の研究や産業的NLP導入を支援するための教訓は何か？複雑で分野特化型の文脈において。

主な発見

• 著者らは、多様で多言語の文書から数百万件の構造化された調達契約データを効果的に抽出し、医療分野で初の大規模な構造化された調達契約データベースを構築した。
• ドメイン知識の統合により、多様な文書タイプや言語間でモデルの性能と一般化性能が顕著に向上した。
• 本手法は、調達文書間でのフォーマット、用語、構造のばらつきに対しても、頑健に耐えうることを示した。
• 本プロジェクトでは、データ品質と前処理が、モデル開発よりもはるかに困難なボトルネックであることが明らかになった。
• 実用的導入にはドメインエキスパートによる反復的最適化が必要であり、産業的NLPシステムにおける人間による確認（人間を含むループ）の重要性が浮き彫りになった。
• 本研究は、学術的ベンチマークよりも単純化された環境を越えて、現実の課題やデータの複雑さを文書化する必要性を強調し、今後の研究に向けた具体的な提言を提供した。