[論文レビュー] Deeper Image Quality Transfer: Training Low-Memory Neural Networks for 3D Images

Stefano B. Blumberg, Ryutaro Tanno+2 more|arXiv (Cornell University)|Aug 16, 2018

Advanced Image Processing Techniques参考文献 11被引用数 7

ひとこと要約

本稿では、チェックポイント法と可逆ネットワーク（RevNets）を組み合わせることで、医療画像における深層3次元畳み込みニューラルネットワークのメモリ効率の良い学習フレームワークを提案する。これにより、ネットワークの深さを顕著に増加させつつ、メモリ使用量はわずか4.0%増加に抑えられる。この手法は、3次元拡散MRIスーパーレゾリューションにおいて、平均二乗誤差（RMSE）を13%低減し、従来の最先端モデルを上回る性能を発揮しながら、標準的なGPUでも低メモリ使用を維持する。

ABSTRACT

In this paper we address the memory demands that come with the processing of 3-dimensional, high-resolution, multi-channeled medical images in deep learning. We exploit memory-efficient backpropagation techniques, to reduce the memory complexity of network training from being linear in the network's depth, to being roughly constant $ - $ permitting us to elongate deep architectures with negligible memory increase. We evaluate our methodology in the paradigm of Image Quality Transfer, whilst noting its potential application to various tasks that use deep learning. We study the impact of depth on accuracy and show that deeper models have more predictive power, which may exploit larger training sets. We obtain substantially better results than the previous state-of-the-art model with a slight memory increase, reducing the root-mean-squared-error by $ 13\% $. Our code is publicly available.

研究の動機と目的

• 高解像度の医療画像における深層3次元畳み込みネットワークの学習に伴う高いメモリ要件を緩和し、標準GPU上でのモデルの深さと性能を向上させる。
• 医療画像の深層学習において、入力パッチの小型化やバッチサイズの縮小といった妥協を強いられるGPUのメモリ制限を克服する。
• ネットワークの深さに応じて線形からほぼ定数に近いメモリ複雑度に低下させるために、メモリ効率の良い学習を可能にする。
• 低解像度の拡散MRIスキャンの品質向上を実現する画像品質転送（IQT）パラダイムにおいて、本手法の有効性を示す。
• 本手法によって可能になるモデルの深さの増加が、特に大きなトレーニングデータセットを用いた場合に予測精度と一般化性能の向上に寄与することを示す。

提案手法

• 可逆残差ネットワーク（RevNets）を3次元畳み込みアーキテクチャに統合し、出力から活性化を再構築可能にすることで、ネットワークの深さに依存しないほぼ定数のメモリ使用量を実現する。
• チェックポイント法を適用して、中間活性化を部分的に保存することで、逆誤差伝搬中のメモリ消費量を削減する。
• RevNetsとチェックポイント法を組み合わせ、前向きおよび逆向きの伝搬を手動で制御することで、深層ネットワークのメモリ効率の良い学習を実現する。
• 計算グラフの抽象化を用いて前向きおよび逆向き伝搬をモデル化し、活性化を必要に応じて再計算することで、保存を回避する。
• 3次元画像スーパーレゾリューションを目的としたESPNetベースのネットワークに、層間へRevNetブロックを挿入することで深さを拡張する。
• 標準的な最適化手法を用い、1台のNVIDIA Pascal GPU上で学習を実施し、バリデーション性能に基づくモデル選定とテストセットでの評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 メモリ効率の良い誤差逆伝搬法により、医療画像における深層3次元畳み込みネットワークの学習が、顕著なメモリオーバーヘッドなしに深さを増すことができるか？
• RQ2 メモリ削減によって可能になったネットワークの深さの増加が、画像品質転送性能に測定可能な向上をもたらすか？
• RQ3 チェックポイント法とRevNetsの組み合わせが、3次元医療画像ネットワークにおけるメモリ使用量をどの程度削減できるか、かつ学習効率を維持できるか？
• RQ4 モデルの深さが3次元拡散MRIスーパーレゾリューションの性能に与える影響は何か？また、より大きなトレーニングデータセットの恩恵を受けるか？
• RQ5 本手法は、セグメンテーション、合成、登録などの他の3次元医療画像タスクにも一般化可能か？

主な発見

• 提案手法は、単純な誤差逆伝搬法と比較して、50%以上のメモリ使用量削減を達成し、ベースラインのESPNetモデルよりもわずか4.0%の増加に抑えられる。
• 最良の性能を示したモデル、ESPNet-RN4は、32例の被験者において、従来の最先端手法（9.76 ± 0.51）と比較して、RMSEが13%相対的に低減（8.46 ± 0.67）した。
• Wilcoxon符号順位検定により、ESPNet-RN4と従来の最先端手法の比較において、有意差が確認された（p = 0.0117、W = 0）。
• より深いモデル（例：ESPNet-RN4）は、脳の内部および外部領域において優れた性能を示し、特に高周波数成分や組織境界の保持に優れている。
• 本手法により、深層ネットワークの学習が、メモリ使用量の著しい増加なしに可能となり、より大きなトレーニングデータセットの活用と一般化性能の向上が可能になった。
• 計算コストの増加にもかかわらず、すべてのモデルが1台のGPUで24時間以内に学習完了し、実用的な妥当性を示した。