[論文レビュー] Benchmarking CNN on 3D Anatomical Brain MRI: Architectures, Data Augmentation and Deep Ensemble Learning

Benoît Dufumier, Pietro Gori+4 more|arXiv (Cornell University)|Jun 2, 2021

AI in cancer detection被引用数 10

ひとこと要約

本研究は、大規模で多施設にまたがる3次元脳MRIデータセット（N=10,000）を用いて、年齢予測、性別分類、統合失調症診断の3つのタスクにおいて、最先端の3次元CNNアーキテクチャをベンチマークした。VBM前処理が生データよりも顕著に性能を向上させること、線形モデルがVBMデータ上で最先端のCNNと同等の性能を示すこと、そして深層アンサンブル学習が精度を損なわずに深層モデルの補正を効果的に行えることを示した。一方、データ拡張は一貫した効果を示さなかった。

ABSTRACT

Deep Learning (DL) and specifically CNN models have become a de facto method for a wide range of vision tasks, outperforming traditional machine learning (ML) methods. Consequently, they drew a lot of attention in the neuroimaging field in particular for phenotype prediction or computer-aided diagnosis. However, most of the current studies often deal with small single-site cohorts, along with a specific pre-processing pipeline and custom CNN architectures, which make them difficult to compare to. We propose an extensive benchmark of recent state-of-the-art (SOTA) 3D CNN, evaluating also the benefits of data augmentation and deep ensemble learning, on both Voxel-Based Morphometry (VBM) pre-processing and quasi-raw images. Experiments were conducted on a large multi-site 3D brain anatomical MRI data-set comprising N=10k scans on 3 challenging tasks: age prediction, sex classification, and schizophrenia diagnosis. We found that all models provide significantly better predictions with VBM images than quasi-raw data. This finding evolved as the training set approaches 10k samples where quasi-raw data almost reach the performance of VBM. Moreover, we showed that linear models perform comparably with SOTA CNN on VBM data. We also demonstrated that DenseNet and tiny-DenseNet, a lighter version that we proposed, provide a good compromise in terms of performance in all data regime. Therefore, we suggest to employ them as the architectures by default. Critically, we also showed that current CNN are still very biased towards the acquisition site, even when trained with N=10k multi-site images. In this context, VBM pre-processing provides an efficient way to limit this site effect. Surprisingly, we did not find any clear benefit from data augmentation techniques. Finally, we proved that deep ensemble learning is well suited to re-calibrate big CNN models without sacrificing performance.

研究の動機と目的

• 大規模で多施設にまたがる3次元脳MRIデータセットを用いて、最先端の3次元CNNアーキテクチャの性能を評価すること。
• VBM処理と準生画像前処理の違いがモデル性能に与える影響を評価すること。
• 臨床的神経画像診断の小規模データ環境において、データ拡張および深層アンサンブル学習の有効性を調査すること。
• 臨床的脳MRIタスクにおける深層学習モデルの補正と不確実性を定量化すること。
• コードとBHB-10Kデータセットを公開することで、再現性を促進すること。

提案手法

• 本研究では、公的ソースから得たN=10,000件のスキャンからなる、多様で不均一な多施設3次元T1強調MRIデータセットを用いた。
• 年齢予測、性別分類、統合失調症診断の3つの神経画像診断タスクにおいて、DenseNetや提案された軽量版であるtiny-DenseNetを含む複数の最先端3次元CNNアーキテクチャを評価した。
• 非線形前処理の役割を評価するために、VBM処理済み画像と最小限に前処理された（準生）画像の両方で性能を比較した。
• データ拡張戦略には、標準的な変換（アフィン変換、ぼかし）と、合成MRIアーチファクト（ゴースト、スパイク）を含め、学習時に適用した。
• 深層アンサンブル学習は、複数の独立したモデルを学習し、その予測を平均化することで不確実性の補正を向上させた。
• モデルの補正は期待補正誤差（ECE）を用いて評価され、不確実性推定にはMC-Dropoutと比較した。

実験結果

リサーチクエスチョン

• RQ1 最先端の3次元CNNアーキテクチャは、シンプルな線形モデルと比較して、大規模で多施設にまたがる3次元脳MRIデータセット上でどのように性能を発揮するか？
• RQ2 VBM前処理は、さまざまなタスクとデータ環境において、準生画像と比較して一貫して性能を向上させるか？
• RQ3 標準的な変換および合成MRIアーチファクトを含むデータ拡張は、小規模データ環境におけるモデル性能にどのような影響を与えるか？
• RQ4 深層アンサンブル学習は、臨床的神経画像診断タスクにおいて、予測性能を損なわずにモデルの補正を効果的に改善できるか？
• RQ5 大規模で多施設のデータセットを用いて学習しても、3次元CNNは依然としてデータ収集施設に偏っているとされるが、その程度はどの程度か？

主な発見

• すべてのCNNモデルが、VBM処理済み画像上で準生画像よりも顕著に高い性能を示したが、トレーニングデータサイズが10,000件に近づくにつれて性能の差が縮小した。
• 線形モデルはVBMデータ上で最先端の3次元CNNと同等の性能を示したため、深層ネットワークがデータに意味的な非線形性を捉えきれていない可能性が示唆された。
• DenseNetと提案されたtiny-DenseNetアーキテクチャは、すべてのデータ環境とタスクにおいて、性能と複雑さのバランスに優れていた。
• 合成MRIアーチファクトを含む広範なデータ拡張を行ったが、一貫した性能向上は観察されず、一部の拡張法は結果を悪化させることさえあった。
• 深層アンサンブル学習は、すべてのモデルとタスクで補正誤差を顕著に低減し、精度を損なわず不確実性推定を向上させた。一方、MC-Dropoutは同等の利点を示さなかった。
• N=10,000の多施設スキャンで学習しても、3次元CNNは依然として収集施設に偏っていたが、VBM前処理によりこのバイアスが緩和された。