[論文レビュー] Data efficient deep learning for medical image analysis: A survey

Suruchi Kumari, Pravendra Singh|arXiv (Cornell University)|Oct 10, 2023

AI in cancer detection被引用数 4

ひとこと要約

本サーベイは、医療画像解析におけるデータ効率の良いディープラーニング手法について、包括的かつ体系的なレビューを提供しており、ラベルの可用性と品質に基づいて、ラベルなし、不正確な、不完全な、不正確な、限定的な監視の5つのレベルに分類している。2020年から2023年までの250篇以上の最近の論文を統合し、自己教師あり学習、アクティブラーニング、フェデレーテッドラーニングなどの主要な技術を分析しており、ラベル効率の良いフェデレーテッドラーニングやテキスト補強学習といった今後の研究分野を特定している。

ABSTRACT

The rapid evolution of deep learning has significantly advanced the field of medical image analysis. However, despite these achievements, the further enhancement of deep learning models for medical image analysis faces a significant challenge due to the scarcity of large, well-annotated datasets. To address this issue, recent years have witnessed a growing emphasis on the development of data-efficient deep learning methods. This paper conducts a thorough review of data-efficient deep learning methods for medical image analysis. To this end, we categorize these methods based on the level of supervision they rely on, encompassing categories such as no supervision, inexact supervision, incomplete supervision, inaccurate supervision, and only limited supervision. We further divide these categories into finer subcategories. For example, we categorize inexact supervision into multiple instance learning and learning with weak annotations. Similarly, we categorize incomplete supervision into semi-supervised learning, active learning, and domain-adaptive learning and so on. Furthermore, we systematically summarize commonly used datasets for data efficient deep learning in medical image analysis and investigate future research directions to conclude this survey.

研究の動機と目的

• プライバシー、専門家不足、データ不足のため、医療画像解析におけるラベル付けが限られ、高価で時間がかかるという重要な課題に対処する。
• ラベルの有無と品質に基づいて、監視のレベルから限定的監視まで、データ効率の良いディープラーニング手法を体系的に分類する。
• 2020年から2023年までの最新の進展（250篇以上）を包括的かつ最新の状態で、国際的な医療画像学会やジャーナルで発表された論文を網羅的にレビューする。
• 自己教師あり事前学習、ニューラルアーキテクチャサーチ、フェデレーテッドラーニングなどの新興技術を特定・分析し、データ効率の良い学習に貢献する。
• ラベル効率の良いフェデレーテッドラーニング、テキスト監視、柔軟なモデル設計といった今後の研究方向性を提示し、分野の発展を促進する。

提案手法

• データ効率の良い手法を5つの監視レベルに分類する：ラベルなし、不正確な監視、不完全な監視、不正確な監視、限定的監視。
• 各カテゴリをサブカテゴリに分ける。例：不正確な監視には複数例学習と弱い監視学習が含まれる。不完全な監視には半教師あり学習、アクティブラーニング、ドメイン適応が含まれる。
• 自己教師あり学習技術をレビューする。例：対照的学習、予測的・生成的自己監視、マスキング自己符号化器を用いた表現学習。
• 大規模なラベルなし医療画像（例：SwinUNETR や統合的事前学習）を用いた事前学習が、小規模なラベル付きデータセットでの微調整性能を向上させることの役割を分析する。
• フェデレーテッドラーニングのような新興パラダイムを検討する。これは、データプライバシーを保ちながら、機関間で協働してモデルを学習可能であり、局所的なデータセットにおけるラベル不足に対処する。
• 臨床レポートやメタデータなどのテキストデータを補助的監視として統合し、モデルの汎化性能を向上させ、ラベル付け依存度を低下させる。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ完全にラベル付けされたデータセットが入手できない状況下で、医療画像解析におけるディープラーニングモデルをどのようにしてデータ効率的にすることができるか？
• RQ2 データ効率の良い学習の主な方法論的カテゴリとは何か。また、それらは監視のレベルや実用的適用性においてどのように異なるか？
• RQ3 自己教師あり学習および弱い監視学習手法は、医療画像分類、セグメンテーション、検出の分野で、専門家によるラベル付けデータへの依存度をどの程度低減できるか？
• RQ4 フェデレーテッドラーニングは、医療機関間でのラベル不足とデータの非同一性に対処しつつ、プライバシーを保ちながらどのようにしてラベルの少ない環境に適応できるか？
• RQ5 テキストデータやマルチモーダル学習は、低データ環境下でのラベル付け負担を軽減し、モデル性能を向上させるために果たす役割は何か？

主な発見

• 本サーベイは、データ効率の良い学習の5つの主要カテゴリ—ラベルなし、不正確な、不完全な、不正確な、限定的監視—を特定し、最近の手法を統一した分類法として提供している。
• 大規模なラベルなし2Dまたは3D医療画像を用いた自己教師あり事前学習は、小規模なラベル付きデータセットでの微調整性能を顕著に向上させる。これは、Self-Supervised SwinUNETR などのモデルによって実証されている。
• フェデレーテッドラーニングは、生データを共有せずに機関間で協働してモデルを学習可能であるが、現在の手法は依然として監視学習に強く依存しており、ラベルが少ない環境での応用が制限されている。
• アクティブラーニングとドメイン適応学習は、情報量の多いサンプルを優先し、異なるドメイン間の分布を一致させることで、ラベル付けコストを効果的に削減する。
• ニューラルアーキテクチャサーチ（NAS）は、モデル設計の自動化に有望であるが、特にセグメンテーションや検出タスクにおけるデータ効率の良いMIAでは、まだ十分に調査されていない。
• 臨床レポートやメタデータを用いたテキスト監視は、視覚的表現学習を向上させ、今後の研究においてラベル付け依存度を低減するための有望な方向性である。