[논문 리뷰] DAISI: Database for AI Surgical Instruction

Edgar Rojas-Muñoz, Kyle Couperus외 1명|arXiv (Cornell University)|2020. 03. 22.

Artificial Intelligence in Healthcare and Education참고 문헌 20인용 수 11

한 줄 요약

이 논문은 20개의 의료 분야에서 올바른 수술 절차 이미지와 단계별 텍스트 지침을 결합한 최초의 오픈소스 데이터베이스인 DAISI를 소개한다. DAISI로 훈련된 인코더-디코더 신경망은 최대 67%의 BLEU-1 점수를 기록했으며 전문가 평가에서 참조 지침과 '약간 관련 있음'으로 평가되어 AI 기반 자율 수술 멘토링을 위한 기초 기준을 확립한다.

ABSTRACT

Telementoring surgeons as they perform surgery can be essential in the treatment of patients when in situ expertise is not available. Nonetheless, expert mentors are often unavailable to provide trainees with real-time medical guidance. When mentors are unavailable, a fallback autonomous mechanism should provide medical practitioners with the required guidance. However, AI/autonomous mentoring in medicine has been limited by the availability of generalizable prediction models, and surgical procedures datasets to train those models with. This work presents the initial steps towards the development of an intelligent artificial system for autonomous medical mentoring. Specifically, we present the first Database for AI Surgical Instruction (DAISI). DAISI leverages on images and instructions to provide step-by-step demonstrations of how to perform procedures from various medical disciplines. The dataset was acquired from real surgical procedures and data from academic textbooks. We used DAISI to train an encoder-decoder neural network capable of predicting medical instructions given a current view of the surgery. Afterwards, the instructions predicted by the network were evaluated using cumulative BLEU scores and input from expert physicians. According to the BLEU scores, the predicted and ground truth instructions were as high as 67% similar. Additionally, expert physicians subjectively assessed the algorithm using Likert scale, and considered that the predicted descriptions were related to the images. This work provides a baseline for AI algorithms to assist in autonomous medical mentoring.

연구 동기 및 목표

• 자율 수술 멘토링 분야에서 AI 모델을 훈련시키기 위한 대규모로 구색이 갖춰진 데이터셋의 부족을 해결하기 위해.
• 실제 이미지와 표준화된 텍스트 지침을 사용해 단계별 수술 절차를 캡처하는 데이터베이스를 개발하기 위해.
• 내시경 영상에서 정확하고 맥락적으로 관련 있는 수술 지침을 예측하기 위해 딥 러닝 기술의 가능성을 평가하기 위해.
• 자동화된 지표(BLEU)와 전문가 평가를 모두 활용해 AI가 생성한 수술 지침의 기준을 설정하기 위해.
• 미래의 AI 기반 실시간 자율 수술 멘토링 시스템 연구를 가능하게 하기 위해.

제안 방법

• DAISI 데이터베이스는 20명의 전문의의 기여, 학술 교과서, 그리고 20개 의료 분야의 실제 수술 영상에서 구성되었다.
• 각 데이터 포인트는 의료 영상과 해당 절차 단계를 묘사하는 대응하는 텍스트 지침으로 구성된다.
• 입력 수술 영상에서 자연어 지침으로 매핑하기 위해 인코더-디코더 신경망 아키텍처가 훈련되었다.
• 예측된 지침과 참조 지침 간의 유사도를 측정하기 위해 누적 BLEU 점수(1-그램에서 4-그램까지)를 사용하여 모델을 평가했다.
• 전문의들이 5점 리커트 척도를 사용하여 예측된 지침의 관련성을 주관적으로 평가했다.
• 일반화 능력과 절차 일관성을 평가하기 위해 상호 절차 간 및 내부 절차 간 분할을 사용하여 테스트를 수행했다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 내시경 영상만으로도 전문가가 검증한 기술 설명과 의미적으로 유사한 수술 지침을 생성할 수 있는가?
• RQ2 수술 AI 멘토링 분야에서 BLEU 점수는 지침 관련성에 대한 전문가 인식과 얼마나 상관이 있는가?
• RQ3 통합된 데이터셋을 사용할 때 단일 AI 모델이 다양한 수술 전문 분야에 얼마나 잘 일반화될 수 있는가?
• RQ4 이미지 해상도와 지침 길이가 예측된 수술 지침의 품질에 어떤 영향을 미치는가?
• RQ5 DAISI는 자율 수술 멘토링 시스템을 훈련시키기 위한 타당한 기초로 기능할 수 있는가?

주요 결과

• AI 모델은 최고 1-그램 BLEU 점수 67%를 기록하여 예측된 지침과 참조 지침 간 강한 어휘적 겹침을 보였다.
• 4-그램 BLEU 점수는 26%에 도달하여 예측된 기술 설명의 문장 수준에서의 유사도가 합리적임을 보였다.
• 전문가들은 예측된 지침을 평균적으로 '약간 관련 있음'(M = 0.51, SD = 0.32)으로 평가하여 임상적 관련성이 확인되었다.
• 더 긴 지침 시퀀스와 더 낮은 해상도의 이미지에서 모델의 성능이 뛰어나, 어휘와 해상도 민감도가 있음을 시사했다.
• 높은 BLEU 점수에도 불구하고 일부 예측는 전문가에 의해 잘못된 것으로 평가되어 어휘적 유사성과 임상 정확성 사이의 격차를 드러냈다.
• 결과적으로 이는 무작위 추측 대비 약 400% 이상의 BLEU-1 점수 향상으로 이어져 DAISI가 향후 AI 훈련을 위한 유용한 기초 기반임을 입증한다.