[論文レビュー] DAISI: Database for AI Surgical Instruction

Edgar Rojas-Muñoz, Kyle Couperus+1 more|arXiv (Cornell University)|Mar 22, 2020

Artificial Intelligence in Healthcare and Education参考文献 20被引用数 11

ひとこと要約

本論文では、20の医学専門分野から得た手術手順の画像と段階的なテキスト説明をペairedした、最初のオープンソースデータベースであるDAISIを紹介する。DAISIで訓練されたエンコーダ・デコーダ型ニューラルネットワークは、最高で67%のBLEU-1スコアを達成し、専門家による評価では「やや関連がある」とされた。これは、AI駆動の自律的外科メンタリングのための基盤的ベンチマークを確立したものである。

ABSTRACT

Telementoring surgeons as they perform surgery can be essential in the treatment of patients when in situ expertise is not available. Nonetheless, expert mentors are often unavailable to provide trainees with real-time medical guidance. When mentors are unavailable, a fallback autonomous mechanism should provide medical practitioners with the required guidance. However, AI/autonomous mentoring in medicine has been limited by the availability of generalizable prediction models, and surgical procedures datasets to train those models with. This work presents the initial steps towards the development of an intelligent artificial system for autonomous medical mentoring. Specifically, we present the first Database for AI Surgical Instruction (DAISI). DAISI leverages on images and instructions to provide step-by-step demonstrations of how to perform procedures from various medical disciplines. The dataset was acquired from real surgical procedures and data from academic textbooks. We used DAISI to train an encoder-decoder neural network capable of predicting medical instructions given a current view of the surgery. Afterwards, the instructions predicted by the network were evaluated using cumulative BLEU scores and input from expert physicians. According to the BLEU scores, the predicted and ground truth instructions were as high as 67% similar. Additionally, expert physicians subjectively assessed the algorithm using Likert scale, and considered that the predicted descriptions were related to the images. This work provides a baseline for AI algorithms to assist in autonomous medical mentoring.

研究の動機と目的

• 自律的外科メンタリング分野におけるAIモデルの学習に用いる大規模かつキュレートされたデータセットの不足に対処すること。
• 実際の画像と標準化されたテキスト説明を用いて、段階的な外科手順を捉えるデータベースを開発すること。
• 手術内画像から正確で文脈的に関連のある外科手順の説明を予測するためのディープラーニングの可能性を評価すること。
• 自動評価指標（BLEU）と専門家評価の両方を用いて、AIが生成する外科指導のベンチマークを確立すること。
• 今後の研究におけるAIを活用したリアルタイムで自律的な外科メンタリングシステムの開発を可能にすること。

提案手法

• DAISIデータベースは、20名の専門医の入力、学術的教科書、および20の医学専門分野にまたがる実際の手術画像から構築された。
• 各データポイントは、医療画像と、それに対応する手順ステップを説明するテキスト説明から構成される。
• エンコーダ・デコーダ型ニューラルネットワークアーキテクチャを用いて、入力画像から自然言語の説明にマッピングするモデルを訓練した。
• 予測された説明と正解の類似度を測定するために、累積的なBLEUスコア（1-gramから4-gramまで）を用いて評価を行った。
• 専門医が5段階リクルート尺度を用いて、予測された説明の入力画像に対する関連性を主観的に評価した。
• 汎化性と手順の一貫性を評価するために、プロシージャ間およびプロシージャ内でのfoldを用いたテストを実施した。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、手術内画像のみを根拠として、熟練医が検証済みの記述と意味的に類似した外科手順の説明を生成できるか？
• RQ2 BLEUスコアは、外科AIメンタリング分野における専門家の説明の関連性認識とどの程度相関しているか？
• RQ3 統一されたデータセットを用いて、1つのAIモデルが多様な外科専門分野にわたってどの程度一般化できるか？
• RQ4 画像解像度と説明の長さは、予測された外科手順の説明の質にどのような影響を及えるか？
• RQ5 DAISIは、自律的外科メンタリングシステムの学習基盤として実用的であると見なせるか？

主な発見

• AIモデルは1-gram BLEUスコアで最高67%を達成し、予測された説明と正解の間で強い語彙的重複があることを示した。
• 4-gram BLEUスコアは26%に達し、予測された記述におけるフレーズレベルの類似度が妥当であることを示した。
• 専門家は予測された説明を平均して「やや関連がある」と評価した（M = 0.51、SD = 0.32）、臨床的関連性が確認された。
• モデルは長文の説明シーケンスや低解像度の画像に対してより良好に機能した。これは語彙的および解像度感受性を示唆している。
• 高スコアのBLEU値にもかかわらず、一部の予測は専門家によって誤りと判断された。これは語彙的類似度と臨床的正確性の間のギャップを示している。
• これらの結果は、ランダムな推測よりも400%以上のBLEU-1スコアの向上を示しており、DAISIが今後のAI学習における有効性を裏付けた。