[논문 리뷰] Doctors Handwritten Prescription Recognition System In Multi Language Using Deep Learning

G Pavithiran, Sharan Padmanabhan외 4명|arXiv (Cornell University)|2022. 10. 21.

Handwritten Text Recognition Techniques인용 수 6

한 줄 요약

이 논문은 다국어 수기 처방전 인식 시스템을 제안하며, 딥러닝을 활용해 의사의 낙서 같은 손글씨와 지역 언어의 다양성을 해결한다. 영상 전처리, 단어 분할, 유니코드 지원을 갖춘 CNN-RNN-LSTM 아키텍처를 적용해 다국어 텍스트 인식을 구현하고, 퍼지 검색과 마켓 배킷 분석을 통해 정확한 처방전 해석과 최적화된 약물 출력을 달성한다.

ABSTRACT

Doctors typically write in incomprehensible handwriting, making it difficult for both the general public and some pharmacists to understand the medications they have prescribed. It is not ideal for them to write the prescription quietly and methodically because they will be dealing with dozens of patients every day and will be swamped with work.As a result, their handwriting is illegible. This may result in reports or prescriptions consisting of short forms and cursive writing that a typical person or pharmacist won't be able to read properly, which will cause prescribed medications to be misspelled. However, some individuals are accustomed to writing prescriptions in regional languages because we all live in an area with a diversity of regional languages. It makes analyzing the content much more challenging. So, in this project, we'll use a recognition system to build a tool that can translate the handwriting of physicians in any language. This system will be made into an application which is fully autonomous in functioning. As the user uploads the prescription image the program will pre-process the image by performing image pre-processing, and word segmentations initially before processing the image for training. And it will be done for every language we require the model to detect. And as of the deduction model will be made using deep learning techniques including CNN, RNN, and LSTM, which are utilized to train the model. To match words from various languages that will be written in the system, Unicode will be used. Furthermore, fuzzy search and market basket analysis are employed to offer an end result that will be optimized from the pharmaceutical database and displayed to the user as a structured output.

연구 동기 및 목표

• 다양한 지역 언어에서 수기 처방전을 정확하게 인식할 수 있는 자율 시스템을 개발하기 위해.
• 약국에서 약물 오류를 유발하는 의사의 낙서 같은 손글씨 문제를 해결하기 위해.
• 임상 환경에서 흔한 기울임자형이나 약어 형태로 쓰인 처방전을 인식할 수 있도록 하기 위해.
• 의료 환경에서 다양한 지역 언어를 지원하기 위해 유니코드를 활용한 다국어 지원 기능을 통합하기 위해.
• 약물 데이터베이스 정렬을 위한 퍼지 검색과 마켓 배킷 분석을 활용해 처방전 해석을 최적화하기 위해.

제안 방법

• 노이즈 감소 및 이진화 기법을 사용해 입력 처방전 이미지를 전처리하기 위해.
• 분석을 위해 개별 처방전 구성 요소를 분리하기 위해 단어 분할을 수행하기 위해.
• 합성곱 신경망(CNN), 순환 신경망(RNN), 장기 기억 단기 기억(LSTM) 네트워크를 조합한 하이브리드 딥러닝 모델을 훈련하기 위해.
• 다양한 스크립트와 지역 언어에서의 다국어 텍스트 인식을 지원하기 위해 유니코드 인코딩을 사용하기 위해.
• 인식된 텍스트를 데이터베이스 내 알려진 약물 용어와 매칭하기 위해 퍼지 검색 알고리즘을 적용하기 위해.
• 일반적인 처방 패턴을 바탕으로 약물 연관성을 제안하거나 검증하기 위해 마켓 배킷 분석을 활용하기 위해.

실험 결과

연구 질문

• RQ1 딥러닝 모델은 어떻게 다양한 지역 언어에서 수기 처방전을 효과적으로 인식할 수 있는가?
• RQ2 저품질 또는 기울임자형 처방전 이미지에서 인식 정확도를 향상시키기 위해 어떤 전처리 및 분할 기법이 유용한가?
• RQ3 CNN, RNN, LSTM 아키텍처를 조합함으로써 의료 환경에서의 다국어 텍스트 인식 성능이 얼마나 향상되는가?
• RQ4 유니코드 기반 인코딩은 하나의 통합 시스템에서 다국어 처방전 인식을 어떻게 지원하는가?
• RQ5 퍼지 검색과 마켓 배킷 분석은 인식된 처방전의 신뢰성과 임상적 관련성을 어떻게 향상시킬 수 있는가?

주요 결과

• 통합된 딥러닝 파이프라인을 통해 다양한 지역 언어로 쓰인 수기 처방전을 성공적으로 처리하고 해석하였다.
• 영상 전처리 및 단어 분할이 후속 텍스트 인식 단계의 명료성과 정확도를 크게 향상시켰다.
• CNN-RNN-LSTM 아키텍처는 다양한 스크립트에서 기울임자형이나 약어 형태의 의료 텍스트를 안정적으로 인식하는 데 뛰어난 성능을 보였다.
• 유니코드 통합으로 다국어 텍스트 표현이 일관되게 유지되어 인도어 및 기타 지역 언어에서의 인식을 지원하였다.
• 퍼지 검색과 마켓 배킷 분석은 정확한 약물 대체물 제안 또는 확인 기능을 향상시켜 시스템의 성능을 높였다.
• 응용 프로그램은 자율 기능을 입증하였으며, 원시 처방전 이미지에서 구조화되고 기계로 판독 가능한 출력을 제공하였다.