[논문 리뷰] Using Natural Language Processing to Develop an Automated Orthodontic Diagnostic System

Tomoyuki Kajiwara, Chihiro Tanikawa외 4명|arXiv (Cornell University)|2019. 05. 31.

Biomedical Text Mining and Ontologies참고 문헌 6인용 수 3

한 줄 요약

이 논문은 자유형식의 치과의사 증언서에서 치열교정 문제를 추출하고 치료 우선순위에 따라 정렬하는 NLP 기반 자동 치열교정 진단 시스템을 제안한다. bag-of-words, one-of-k, 및 Universal Sentence Encoder 임베딩을 결합한 방식과 SVM-rank를 사용하여, 문제 탐지에 대해 F1 점수 0.585를 달성하고 인간의 순위와 상관관계가 0.584로 나타나 임상 의사결정 지원의 가능성을 입증한다.

ABSTRACT

We work on the task of automatically designing a treatment plan from the findings included in the medical certificate written by the dentist. To develop an artificial intelligence system that deals with free-form certificates written by dentists, we annotate the findings and utilized the natural language processing approach. As a result of the experiment using 990 certificates, 0.585 F1-score was achieved for the task of extracting orthodontic problems from findings, and 0.584 correlation coefficient with the human ranking was achieved for the treatment prioritization task.

연구 동기 및 목표

• 치과의사가 작성한 자유형 임상 기록에서 자동으로 치열교정 진단과 치료 계획을 수립할 수 있는 AI 시스템을 개발하는 것.
• 의료 증언서의 비정형 자연어 기술에서 의미 있는 치열교정 문제를 추출하는 데 도전하는 것.
• 임상적 중증도에 따라 치료 계획을 우선순위 정렬하여 전문 치과의사의 사고 방식을 모방하는 것.
• 요약 및 의사결정 지원 기능을 통해 치열교정 클리닉의 진단 오류와 업무 부담을 줄이는 것.
• 치의학 분야의 임상 의사결정에 NLP 및 머신러닝을 활용하는 것을 탐색하는 것.

제안 방법

• 시스템은 bag-of-words (BoW), one-of-k (OoK), 및 Universal Sentence Encoder (USE) 임베딩을 사용하여 자유형 의료 증언서에서 특징을 추출하는 데 NLP를 활용한다.
• 다중 레이블 분류는 SVM 및 딥러닝 모델을 사용하여 텍스트에서 치열교정 문제를 식별하며, 400개 이상의 의료 상태 레이블을 포함한다.
• 벡터화된 문제 기술을 기반으로 문제를 우선순위 정렬하기 위해 SVM-rank 기반의 러닝-투-랭크 모델을 적용한다.
• 모델 성능 평가에는 문제 탐지에 대한 F1 점수와 치료 우선순위 정렬에 대한 슼머의 순위 상관관계를 사용한다.
• 문장 정렬 및 번역 기법을 활용하여 환자 소통을 위한 간소화된 언어를 생성하지만, 텍스트 단순화는 향후 작업으로 남겨둔다.
• 은닉층 크기 및 정규화(정규화 계수 C)와 같은 하이퍼파rameter는 최적의 성능을 위해 검증 데이터에서 튜닝된다.

실험 결과

연구 질문

• RQ1 NLP 기법이 치과의사가 작성한 비정형 자유형 임상 기록에서 치열교정 문제를 효과적으로 추출할 수 있는가?
• RQ2 인간 전문가와 비교할 때 자동 시스템이 치료 우선순위에 따라 치열교정 문제를 얼마나 잘 순위 정렬할 수 있는가?
• RQ3 BoW, OoK, 또는 USE 중 어느 임베딩 방법이 치열교정 상태 진단 및 우선순위 정렬에서 가장 높은 성능을 낼 수 있는가?
• RQ4 기계학습 모델이 텍스트 데이터만을 사용하여 숙련된 치열교정 전문의의 진단 사고 방식을 어느 정도 재현할 수 있는가?
• RQ5 NLP 기반 시스템이 진단 업무 부담을 줄이고 경험 부족한 치과의사의 임상 의사결정을 지원할 수 있는가?

주요 결과

• 시스템은 자유형 기록에서 치열교정 문제 탐지에 대해 F1 점수 0.585를 기록하여 다중 레이블 분류에서 중간에서 높은 수준의 성능을 보였다.
• 치료 우선순위 정렬 모델은 인간 순위와 슼머의 순위 상관계수 0.584를 기록하여 전문가 판단과 강한 양의 상관관계를 보였다.
• Universal Sentence Encoder (USE) 모델은 BoW 및 OoK보다 우선순위 정렬에서 뛰어난 성능을 보였으며, 가장 높은 상관계수(0.584)를 기록했다. 이는 더 풍부한 의미 표현 덕분으로 여겨진다.
• 문제 탐지에서는 BoW 모델이 가장 뛰어난 성능을 보였으며, 이는 문장 구조나 임상 기록에서 흔히 나타나는 불완전한 어휘 표현에 덜 민감하기 때문일 수 있다.
• OoK 모델은 우선순위 정렬에서 BoW 모델보다 높은 성능(0.566 대 0.513)을 보였으며, 이는 레이블 기반 특징이 임상 전문 지식을 더 잘 반영할 수 있음을 시사한다.
• 결과는 NLP 기반 시스템이 전문가의 진단 사고 방식을 부분적으로 재현할 수 있음을 시사하며, 임상 의사결정 지원에 활용될 수 있음을 뒷받침한다.