[論文レビュー] Advancing Medical Imaging with Language Models: A Journey from N-grams to ChatGPT

Mingzhe Hu, Shaoyan Pan+2 more|arXiv (Cornell University)|Apr 11, 2023

Artificial Intelligence in Healthcare and Education被引用数 20

ひとこと要約

この論文は、言語モデル（ChatGPTを含む）がキャプション生成、レポート生成、所見抽出、視覚的質問応答などの医用画像タスクをどのように強化しているかを検討し、臨床ワークフローへの潜在的な利益について論じる。

ABSTRACT

In this paper, we aimed to provide a review and tutorial for researchers in the field of medical imaging using language models to improve their tasks at hand. We began by providing an overview of the history and concepts of language models, with a special focus on large language models. We then reviewed the current literature on how language models are being used to improve medical imaging, emphasizing different applications such as image captioning, report generation, report classification, finding extraction, visual question answering, interpretable diagnosis, and more for various modalities and organs. The ChatGPT was specially highlighted for researchers to explore more potential applications. We covered the potential benefits of accurate and efficient language models for medical imaging analysis, including improving clinical workflow efficiency, reducing diagnostic errors, and assisting healthcare professionals in providing timely and accurate diagnoses. Overall, our goal was to bridge the gap between language models and medical imaging and inspire new ideas and innovations in this exciting area of research. We hope that this review paper will serve as a useful resource for researchers in this field and encourage further exploration of the possibilities of language models in medical imaging.

研究の動機と目的

• 言語モデルの歴史と概念の概要を提供する，特に大規模言語モデルに重点を置く。
• モダリティや臓器を超える医用画像タスクに適用された言語モデルに関する現在の文献をレビューする。
• 新しい医用画像アプリケーションを探る焦点としてChatGPTを強調する。
• 臨床ワークフローの効率性、診断精度、適時な診断の向上に資する潜在的な利益について議論する。

提案手法

• N-grams から大規模言語モデルまで、言語モデルの歴史的発展を概観する。
• 画像キャプション生成、レポート生成、レポート分類、所見抽出、視覚的質問応答、解釈可能な診断など、医用画像分野での適用に関する文献をレビューする。
• ChatGPTを強調し、医用画像研究への潜在的な活用経路を議論する。
• 言語モデルと医用画像実践のギャップを埋める洞察を統合する。

実験結果

リサーチクエスチョン

• RQ1 現在、モダリティや臓器を横断して、医用画像タスク（キャプション生成、レポート作成、所見抽出、VQA、解釈）に言語モデルがどのように適用されているか。
• RQ2 臨床ワークフローの効率性と診断精度に対する言語モデルの潜在的な利益と制限は何か。
• RQ3 医用画像研究と実践において、ChatGPTがもたらす特別な役割や応用は何か。
• RQ4 研究者は言語モデルを活用して医用画像における新しいアイデアや革新をどのように喚起できるか。

主な発見

• 言語モデルは、キャプション生成、レポート生成、レポート分類、所見抽出、視覚的質問応答、解釈可能な診断など、さまざまなモダリティや臓器にわたって医用画像の複数タスクを改善するために用いられている。
• ChatGPTは、医用画像研究者がより多くの潜在的なアプリケーションを探るツールとして強調されている。
• 正確で効率的な言語モデルは、臨床ワークフローの効率性を向上させ、診断エラーを減らし、医療従業者のためにタイムリーかつ正確な診断を支援する可能性がある。