[論文レビュー] Doctors Handwritten Prescription Recognition System In Multi Language Using Deep Learning

G Pavithiran, Sharan Padmanabhan+4 more|arXiv (Cornell University)|Oct 21, 2022

Handwritten Text Recognition Techniques被引用数 6

ひとこと要約

本稿では、深層学習を用いて、判読不能な医師の手書き文字や地域言語の違いに対処する多言語の手書き処方箋認識システムを提案する。画像前処理、単語分割、Unicode 対応の CNN-RNN-LSTM アーキテクチャを採用し、曖昧検索とマーケットバスケット分析を用いて、正確な処方箋解釈と最適化された医薬品出力が実現される。

ABSTRACT

Doctors typically write in incomprehensible handwriting, making it difficult for both the general public and some pharmacists to understand the medications they have prescribed. It is not ideal for them to write the prescription quietly and methodically because they will be dealing with dozens of patients every day and will be swamped with work.As a result, their handwriting is illegible. This may result in reports or prescriptions consisting of short forms and cursive writing that a typical person or pharmacist won't be able to read properly, which will cause prescribed medications to be misspelled. However, some individuals are accustomed to writing prescriptions in regional languages because we all live in an area with a diversity of regional languages. It makes analyzing the content much more challenging. So, in this project, we'll use a recognition system to build a tool that can translate the handwriting of physicians in any language. This system will be made into an application which is fully autonomous in functioning. As the user uploads the prescription image the program will pre-process the image by performing image pre-processing, and word segmentations initially before processing the image for training. And it will be done for every language we require the model to detect. And as of the deduction model will be made using deep learning techniques including CNN, RNN, and LSTM, which are utilized to train the model. To match words from various languages that will be written in the system, Unicode will be used. Furthermore, fuzzy search and market basket analysis are employed to offer an end result that will be optimized from the pharmaceutical database and displayed to the user as a structured output.

研究の動機と目的

• 複数の地域言語で記された手書き処方箋を正確に認識できる自律的システムの開発。
• 薬局での薬物誤りを引き起こす判読不能な医師の手書き文字の課題に対処する。
• 臨床現場で一般的な草書体や省略形で書かれた処方箋の認識を可能にする。
• 医療現場における多様な地域言語をカバーするため、Unicode を用いた多言語対応を実装する。
• 曖昧検索とマーケットバスケット分析を用いて処方箋解釈を最適化し、医薬品データベースとの整合性を高める。

提案手法

• ノイズ低減および二値化技術を用いて、入力された処方箋画像を前処理する。
• 個々の処方箋要素を分離するため、単語分割を実施する。
• 畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、長短期記憶（LSTM）ネットワークを統合したハイブリッド深層学習モデルを訓練する。
• 異なるスクリプトおよび地域言語での多言語テキスト認識を可能にするために、Unicode エンコードを活用する。
• 認識されたテキストをデータベース内の既知の医薬品用語と照合するため、曖昧検索アルゴリズムを適用する。
• 一般的な処方パターンに基づいて薬物の関連付けを提案または検証するため、マーケットバスケット分析を用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにして深層学習モデルが複数の地域言語で記された手書き処方箋を効果的に認識できるか？
• RQ2 低品質または草書体の処方箋画像において、認識精度を向上させるための前処理および分割技術は何か？
• RQ3 CNN、RNN、LSTM アーキテクチャを統合することで、医療文脈における多言語テキスト認識がどの程度向上するか？
• RQ4 Unicode を用いたエンコードは、一元化されたシステム内で多言語処方箋認識をどのように支援するか？
• RQ5 曖昧検索とマーケットバスケット分析は、認識された処方箋の信頼性および臨床的妥当性をどの程度向上できるか？

主な発見

• 本システムは、統合された深層学習パイプラインを用いて、複数の地域言語で記された手書き処方箋を効果的に処理・解釈できた。
• 画像前処理および単語分割により、その後続のテキスト認識工程の明瞭さと正確性が顕著に向上した。
• CNN-RNN-LSTM アーキテクチャは、多様なスクリプトで書かれた草書体や省略形の医療テキストを、強固に認識できた。
• Unicode の統合により、一貫した多言語テキスト表現が実現され、インド語やその他の地域言語を含む認識が可能になった。
• 曖昧検索とマーケットバスケット分析により、システムの正確な医薬品代替品の提案や確認能力が向上した。
• アプリケーションは自律的機能を示し、生の処方箋画像から構造的で機械可読な出力を提供した。