[論文レビュー] Video Pretraining Advances 3D Deep Learning on Chest CT Tasks

Alexander Ke, Shih-Cheng Huang+4 more|arXiv (Cornell University)|Apr 2, 2023

Radiomics and Machine Learning in Medical ImagingMedicine被引用数 3

ひとこと要約

この論文は、Kineticsなどの大規模なドメイン外データセットを用いた動画事前学習が、肺CT画像分類タスクにおける3次元深層学習の性能を顕著に向上させることを示しており、2次元モデルやドメイン内事前学習を上回っている。7つの3次元モデルと2つの臨床的タスク（肺塞栓症および腫瘍検出）において、動画事前学習は一貫して性能を向上させ、特にデータが少ない状況で顕著な効果を示しており、データが限られる3次元医療画像分野において、大規模な動画事前学習が優れた戦略であると確立している。

ABSTRACT

Pretraining on large natural image classification datasets such as ImageNet has aided model development on data-scarce 2D medical tasks. 3D medical tasks often have much less data than 2D medical tasks, prompting practitioners to rely on pretrained 2D models to featurize slices. However, these 2D models have been surpassed by 3D models on 3D computer vision benchmarks since they do not natively leverage cross-sectional or temporal information. In this study, we explore whether natural video pretraining for 3D models can enable higher performance on smaller datasets for 3D medical tasks. We demonstrate video pretraining improves the average performance of seven 3D models on two chest CT datasets, regardless of finetuning dataset size, and that video pretraining allows 3D models to outperform 2D baselines. Lastly, we observe that pretraining on the large-scale out-of-domain Kinetics dataset improves performance more than pretraining on a typically-sized in-domain CT dataset. Our results show consistent benefits of video pretraining across a wide array of architectures, tasks, and training dataset sizes, supporting a shift from small-scale in-domain pretraining to large-scale out-of-domain pretraining for 3D medical tasks. Our code is available at: https://github.com/rajpurkarlab/chest-ct-pretraining

研究の動機と目的

• 大規模な動画事前学習が、特にデータが少ない状況において、肺CTタスクの3次元深層学習モデルの性能を向上させるかどうかを評価すること。
• ドメイン外の動画事前学習（例：Kinetics）とドメイン内CT事前学習、および逐次的事前学習の有効性を比較すること。
• 動画事前学習が、医療画像分野における多様な3次元アーキテクチャと臨床的タスクに一般化するかどうかを評価すること。
• 特に医療分野で一般的な小規模データ設定において、事前学習の性能が下流データセットサイズにどのようにスケーリングするかを理解すること。
• 今後の3次元医療AI開発を支援するため、モデル、タスク、データ環境の多様な側面をカバーする包括的なベンチマークを提供すること。

提案手法

• ImageNetおよびKineticsデータセットを用いて、7つの3次元モデル（例：MViT、Swin-T、SlowFast）と3つの2次元モデルの事前学習を実施した。
• ドメイン内データセット（スタンフォードのPE検出データセット）で事前学習を行い、その後Kineticsで学習する逐次的事前学習を実施し、動画事前学習の影響を明確に分離した。
• 2つの公開肺CTデータセット（RSNA：肺塞栓症検出、LIDC-IDRI：肺結節検出）に対して、すべてのモデルを微調整した。
• 訓練データセットサイズを3つに分け（1%、10%、100%）、事前学習戦略のデータ効率性とスケーラビリティを評価した。
• 標準的な指標（AUC）を用い、95%信頼区間を伴って、異なる事前学習戦略とアーキテクチャ間でのモデル性能を比較した。
• 公平かつ一般化可能な比較を実現するため、モデルおよび事前学習プロトコルごとにハイパーパramータサーチを実施した。

Figure 1: Visual summary of our methods. We examined seven 3D (three 2D) models that were pre-trained either on Kinetics (ImageNet), or on the Stanford dataset for PE detection, or on both sequentially. We then transferred these weights and finetuned them on RSNA for PE detection and LIDC for lung n

実験結果

リサーチクエスチョン

• RQ1 大規模なドメイン外動画（例：Kinetics）を用いた動画事前学習は、ImageNet事前学習や事前学習なしの状況と比較して、3次元医療画像分類の性能を向上させるか？
• RQ2 特に下流データセットが小さい状況において、動画事前学習はドメイン内CT事前学習と比較して、どの程度の性能向上をもたらすか？
• RQ3 3次元肺CT解析において、モデルアーキテクチャの多様性とタスクの多様性に応じて、動画事前学習の利点がスケーリングするか？
• RQ4 異なる下流データセットサイズにおいて、動画事前学習モデルの性能は2次元ベースラインと比較してどうなるか？
• RQ5 小規模データ医療画像設定において、事前学習戦略と下流データセットサイズの相互作用は何か？

主な発見

• Kineticsにおける動画事前学習は、RSNAおよびLIDCの両データセットにおいて、下流データセットサイズにかかわらず7つの3次元モデルの平均性能を向上させた。
• RSNAデータセットで訓練データの1%（50件の研究）を使用した場合、動画事前学習はAUC 0.599を達成し、2次元ベースライン（AUC 0.517）およびドメイン内事前学習（AUC 0.510）を顕著に上回った。
• LIDCデータセットで訓練データの10%（71件の研究）を使用した場合、動画事前学習はAUC 0.831を達成し、2次元ベースライン（AUC 0.530）およびドメイン内事前学習（AUC 0.500）を上回った。
• 動画事前学習により、3次元モデルはすべてのデータセットサイズで2次元モデルを上回ったが、特にデータが少ない状況（訓練データの1%および10%）で相対的な向上が顕著に見られた。
• 通常サイズのドメイン内CTデータセットでの事前学習よりも、Kineticsでの事前学習がより高い性能を示しており、ドメイン外動画事前学習が3次元医療タスクにおいてより効果的であることを示している。
• 逐次的事前学習（ドメイン内→Kinetics）は、Kinetics単独での事前学習を上回らなかったため、動画事前学習の利点は加法的ではなく、Kineticsでの事前学習のみで十分で、かつ優れていることが示唆された。

Figure 2: Video pretraining consistently improves 3D models’ AUC on 10% and 100% of RSNA and LIDC, except MViT on 10% of LIDC ( $p=0.254$ )