[論文レビュー] Efficient Neural Architecture Search on Low-Dimensional Data for OCT Image Segmentation

Nils Gessert, Alexander Schlaefer|arXiv (Cornell University)|May 7, 2019

Retinal Imaging and Analysis参考文献 8被引用数 1

ひとこと要約

本稿では、2次元Bスキャンの代わりに1次元Aスキャンデータ上でアーキテクチャ探索を行うことで、OCT画像分類のための効率的なニューラルアーキテクチャ探索（NAS）手法を提案する。この手法により、探索時間を87.5％短縮しつつ、2次元探索と同等の性能を達成した。これは、低次元データ上で学習されたアーキテクチャが、高次元医療画像処理タスクに効果的に転送可能であることを示している。

ABSTRACT

Typically, deep learning architectures are handcrafted for their respective learning problem. As an alternative, neural architecture search (NAS) has been proposed where the architecture's structure is learned in an additional optimization step. For the medical imaging domain, this approach is very promising as there are diverse problems and imaging modalities that require architecture design. However, NAS is very time-consuming and medical learning problems often involve high-dimensional data with high computational requirements. We propose an efficient approach for NAS in the context of medical, image-based deep learning problems by searching for architectures on low-dimensional data which are subsequently transferred to high-dimensional data. For OCT-based layer segmentation, we demonstrate that a search on 1D data reduces search time by 87.5% compared to a search on 2D data while the final 2D models achieve similar performance.

研究の動機と目的

• 3D/4Dデータにおける医療画像分野のニューラルアーキテクチャ探索（NAS）の高い計算コストに対処すること。
• OCTボリュームなどの高次元医療画像データに対するNASにおける長時間の探索時間を克服すること。
• 1次元Aスキャンなどの低次元データ表現上でアーキテクチャ探索が、2次元Bスキャンなどの高次元タスクに一般化できるかどうかを調査すること。
• 低次元データ上で行うNASが、スケーリング接続やU-Net構造を変更せずに、分類性能を損なわずに、完全次元探索の代替手段として実用的であることを実証すること。

提案手法

• ENASフレームワークを用いてニューラルアーキテクチャ探索を行うが、探索空間をU-Netに類似したアーキテクチャの内部モジュールブロックに限定する。
• エンコーダ・デコーダの接続、和算によるスキップ接続、ダウンサンプリング/アップサンプリング層を含む、全体のU-Net構造を固定する。
• 各サブセルに対して5つの演算から選択するコントローラーを定義：3×3および5×5畳み込み、平均プーリング（3×3）および最大プーリング（3×3）、恒等写像。
• モデルとコントローラーを交互に訓練し、モデルにはDice損失、コントローラーにはDiceスコアを報酬として使用する。
• 1次元Aスキャン（1次元データ）上でNASを実行し、学習されたアーキテクチャを2次元Bスキャンに転送して最終評価を実施する。
• 1次元NAS、2次元NAS、およびResNetにインspiredされたベースラインで訓練されたモデルの性能と探索時間を比較する。

実験結果

リサーチクエスチョン

• RQ1 1次元Aスキャンデータ上で行うアーキテクチャ探索は、OCT画像分類のための2次元BスキャンNASと同等の分類性能を達成できるか？
• RQ2 2次元データではなく1次元データ上でNASを実行した場合、探索時間はどの程度短縮されるか？
• RQ3 低次元データ上で発見されたアーキテクチャは、高次元医療画像タスクにどの程度一般化できるか？
• RQ4 低次元データ上で提案されたNASアプローチは、ResNet-U-Netのような手作業で設計されたベースラインを上回る性能を維持できるか？

主な発見

• ENAS1D U-Net 1Dモデルは平均Diceスコア0.928 ± 0.09を達成し、ResNet U-Net 1Dベースライン（0.916 ± 0.10）を上回った。
• ENAS1D U-Net 2Dモデルは平均Diceスコア0.971 ± 0.04を達成し、ResNet U-Net 2Dベースライン（0.962 ± 0.05）を上回った。
• ENAS2D U-Net 2DモデルはDiceスコア0.973 ± 0.04を達成し、2次元探索が1次元探索よりもわずかに優れた性能を示した。
• 1次元データ（1.5時間）を用いた場合、2次元データ（12時間）と比較して探索時間を87.5％短縮でき、性能差は最小限であった。
• 1次元データ上で学習されたアーキテクチャは2次元データに効果的に転送され、完全2次元NASで訓練されたモデルとほぼ同一の性能を達成した。
• 提案手法により、スキップ接続やU-Net構造といったコアなアーキテクチャコンponentsを変更せずに、医療画像分類のための効率的NASが可能になった。