[論文レビュー] Pretrained Deep 2.5D Models for Efficient Predictive Modeling from Retinal OCT

Taha Emre, Marzieh Oghbaie+10 more|arXiv (Cornell University)|Jul 25, 2023

Retinal Imaging and AnalysisMedicine参考文献 20被引用数 3

ひとこと要約

本論文は、網膜OCTスキャンからの湿性加齢性黄斑変性（AMD）進行予測のための、2次元畳み込みニューラルネットワーク（2D CNN）とBiLSTMまたはTransformerアーキテクチャを組み合わせた事前学習済み2.5次元ディープラーニングモデルを提案する。TINCを用いたドメイン内自己教師あり事前学習により、ImageNetでの事前学習やより大きな3次元モデルに比べ優れた性能を達成した。特に、CNN+BiLSTMアーキテクチャは2つの縦断的OCTデータセットにおいて、AUROCおよびPRAUCの両方で優れた性能を示した。

ABSTRACT

In the field of medical imaging, 3D deep learning models play a crucial role in building powerful predictive models of disease progression. However, the size of these models presents significant challenges, both in terms of computational resources and data requirements. Moreover, achieving high-quality pretraining of 3D models proves to be even more challenging. To address these issues, hybrid 2.5D approaches provide an effective solution for utilizing 3D volumetric data efficiently using 2D models. Combining 2D and 3D techniques offers a promising avenue for optimizing performance while minimizing memory requirements. In this paper, we explore 2.5D architectures based on a combination of convolutional neural networks (CNNs), long short-term memory (LSTM), and Transformers. In addition, leveraging the benefits of recent non-contrastive pretraining approaches in 2D, we enhanced the performance and data efficiency of 2.5D techniques even further. We demonstrate the effectiveness of architectures and associated pretraining on a task of predicting progression to wet age-related macular degeneration (AMD) within a six-month period on two large longitudinal OCT datasets.

研究の動機と目的

• 網膜OCTスキャンからのAMD進行予測において、ラベル付き3次元医療画像データが限られているという課題に対処すること。
• ボリュメトリックOCT解析のための3次元ディープラーニングモデルの計算効率が高く、メモリ使用量が少ない代替手法を開発すること。
• 特に2D CNNとシーケンスモデル（BiLSTMまたはTransformer）を組み合わせたハイブリッド2.5次元アーキテクチャ—CNN+BiLSTMおよびCNN+Transformer—の予測性能に与える影響を評価すること。
• 低データ環境下でのドメイン固有の自己教師あり事前学習（TINC）とImageNetでの事前学習の有効性を比較すること。
• PINNACLEのようなドメインシフトを伴うデータセット間でのモデルの汎化性能を評価すること。

提案手法

• 3次元OCTボリュームの各Bスキャンスライスに2次元畳み込みニューラルネットワーク（2D CNN）を適用し、その後にBiLSTMまたはTransformerを用いてスライスレベルの特徴を統合する2.5次元アーキテクチャを採用した。
• 2次元CNNの重み初期化に、ラベルなしドメイン内OCTデータセットを用いた非対照的自己教師あり事前学習手法（TINC）を活用し、データ効率を向上させた。
• 2つの大規模な縦断的OCTデータセット（HARBORおよびPINNACLE）上で、6か月後の湿性AMD進行の二値分類タスクを対象に、2.5次元モデルを微調整した。
• ドメイン固有の事前学習の利点を評価するため、ImageNet重み、TINC重み、およびViViT用にDukeAMDで事前学習した重みを用いたモデルを比較した。
• スライス間の特徴統合に平均プーリングとアテンションメカニズムを適用し、アテンションスコアがモデルの解釈可能性を向上させた。
• 主な評価指標としてAUROCおよびPRAUCを用い、モデルサイズ、FLOPs、パラメータ数に関するアブレーションスタディを実施した。

Figure 1: Architecture of the two evaluated 2.5D approaches: (top) CNN + BiLSTM with attention, (bottom) CNN + Transformer

実験結果

リサーチクエスチョン

• RQ1 ドメイン内自己教師あり事前学習（TINC）は、ImageNetでの事前学習に比べ、低リソースな3次元OCT分類タスクにおける2.5次元モデルの性能を向上させるか？
• RQ2 2D CNNとシーケンスモデル（BiLSTMまたはTransformer）を組み合わせたハイブリッド2.5次元アーキテクチャは、AMD進行予測において完全な3次元モデルを上回る性能を示せるか？
• RQ3 異なる2.5次元アーキテクチャ（CNN+BiLSTM対CNN+Transformer）は、性能、パラメータ効率、データ不足およびドメインシフト下での頑健性においてどのように比較されるか？
• RQ4 ドメインシフト（例：PINNACLEにおけるスキャナの違い）はモデルの汎化性能にどの程度影響を及ぼし、ドメイン内事前学習がこれを緩和できるか？
• RQ5 2.5次元Transformerモデルにおけるアテンション機構は、臨床的予測タスクにおける解釈可能性と性能向上に寄与するか？

主な発見

• TINCで事前学習したCNN+BiLSTMモデルは、HARBORデータセットで最高のAUROC（0.766±0.012）およびPRAUC（0.646±0.019）を達成し、ImageNetおよびViViTベースラインを上回った。
• TINC事前学習は、すべてのアーキテクチャおよびデータセットでImageNet事前学習を上回り、特にドメインシフトを伴うPINNACLEデータセットで最大の向上が見られた。
• パラメータ数が3分の1（34M対108M）であるにもかかわらず、CNN+BiLSTMモデルはHARBORおよびPINNACLEの両方でAUROCおよびPRAUCにおいて、より大きなCNN+Transformerモデルと同等または優れた性能を示した。
• 2.5次元モデルは、すべての指標で3次元I3DおよびViViT FSAモデルを上回り、同時に3次元処理よりもスライス間関係を明示的にモデル化する利点を示した。
• PINNACLEデータセットでは、HARBORに比べAUROCが著しく低下したが、TINC事前学習により依然として高い性能を維持しており、ドメインシフトに対して頑健であることが示された。
• CNN+Transformerモデルにおけるアテンション機構により解釈可能なアテンションスコアが得られたが、性能はより単純なBiLSTMベースのアーキテクチャに劣った。