[論文レビュー] RapidRead: Global Deployment of State-of-the-art Radiology AI for a Large Veterinary Teleradiology Practice

Michael Fitzke, Conrad Stack+8 more|arXiv (Cornell University)|Nov 9, 2021

AI in cancer detection被引用数 5

ひとこと要約

本論文では、250万枚以上の画像を用いた自己教師あり事前学習とNLPで抽出されたラベルを組み合わせた半教師ありアプローチを用いて、イヌおよびネコのレントゲン画像における41種類の放射線所見を自動で検出する深層学習システムRapidReadを提案する。このシステムは、グローバルな遠隔放射線診断での実用的導入において、データドリフト検出と臨床フィードバックループを備えており、信頼性の高いAI統合が可能である。

ABSTRACT

This work describes the development and real-world deployment of a deep learning-based AI system for evaluating canine and feline radiographs across a broad range of findings and abnormalities. We describe a new semi-supervised learning approach that combines NLP-derived labels with self-supervised training leveraging more than 2.5 million x-ray images. Finally we describe the clinical deployment of the model including system architecture, real-time performance evaluation and data drift detection.

研究の動機と目的

• 獣医学的レントゲン画像の診断解釈を自動化することで、世界的な獣医学的レントゲン診断医の不足を解消すること。
• 過去の獣医学的AIシステムに見られる、データセットの小ささ、マルチセンターでの妥当性検証の欠如、実世界での導入データの不在といった制限を克服すること。
• 臨床ワークフローにおけるデータ分布の変化にもかかわらず、長期にわたり性能を維持できるスケーラブルでプロダクション運用可能なAIシステムを開発すること。
• 推論時に専門家がラベルを付与する必要がない高スループットの遠隔放射線プラットフォームにおいて、リアルタイムの推論とフィードバックループを実現すること。
• 獣医学的およびヒト医療画像診断におけるAIの長期的モニタリングと臨床的応用のフレームワークを確立すること。

提案手法

• 放射線報告書から抽出したNLPラベルと、250万枚以上の獣医学的レントゲン画像を用いた自己教師ありコントラスト学習を組み合わせた半教師あり学習フレームワークを採用した。
• ノイズの多い学生（Noisy Student）蒸留技術を用いてモデルの頑健性を向上させ、教師モデルの疑似ラベルを基に学生ネットワークを訓練した。
• 画像の複雑さとアーチファクト検出を用いたデータフィルタリングパイプラインを実装し、低品質および関連のない画像を除外した。
• Redisを用いて一時的な画像レベルの予測を格納し、CLIPSを用いて結果のルールベースの文脈統合を実現するリアルタイム推論パイプラインにモデルをデプロイした。
• 放射線診断医が新しい症例を構造化された形式でラベル付けするフィードバックループを統合し、継続的なモデル再訓練とアクティブラーニングを可能にした。
• 画像特徴の機械学習的表現を用いてデータドリフトをモニタリングし、専門家ラベルのない状態でも分布の変化を検出可能とした。

実験結果

リサーチクエスチョン

• RQ1 大規模で弱いラベルが付与された獣医学的レントゲン画像データを効果的に活用する半教師あり深層学習アプローチは、高い診断性能を達成できるか？
• RQ2 疑似ラベルを用いたデータ蒸留は、リソースが限られた臨床画像診断環境において、モデルの頑健性と一般化性能をどのように向上させるか？
• RQ3 継続的な専門家ラベル付き検証データに依存せずに、実世界のレントゲン診断デプロイメントでデータドリフトを検出できるか？
• RQ4 複数のグローバルな獣医学的クリニックにわたる大規模なAIモデルの展開において、主なシステム設計と運用上の課題は何か？
• RQ5 入力データの分布の変化に伴い、長期的なモデル性能はどのように変化するか？

主な発見

• モデルはテストセットにおいて41の放射線所見すべてで高い診断性能を達成し、そのうち18の所見でAUCスコアが0.90を超えた。
• 半教師あり蒸留アプローチにより、NLPで抽出したラベルのみで訓練されたモデルと比較して、誤差率が22%低下し、モデルの頑健性が著しく向上した。
• 特徴レベルの表現を用いたデータドリフト検出は、時間経過に伴う入力画像の分布の変化を効果的に同定でき、プロアクティブなモデルモニタリングを可能にした。
• 本番環境において、1件あたりの推論遅延が150ms未満で安定しており、高スループットの遠隔放射線ネットワークにおけるリアルタイムデプロイメントを実現した。
• 新しい症例に対する放射線診断医による構造化されたラベル付けによるフィードバックループにより、継続的なモデル改善と臨床ワークフローへの統合が可能になった。
• 縦断的分析から、患者集団の臨床的ばらつきがデータドリフトの影響を緩和し、時間経過とともにモデルの安定性が向上することを示した。