[論文レビュー] Segmentation of Liver Lesions with Reduced Complexity Deep Models

Ram Krishna Pandey, Aswin Vasan+1 more|arXiv (Cornell University)|May 23, 2018

Advanced Neural Network Applications参考文献 21被引用数 16

ひとこと要約

本論文は、U-Netにおけるデコンボリューションを双線形補間とサブピクセル畳み込みに置き換えることで、パラメータ数を13.8倍削減した、軽量で計算効率の良い深層学習アーキテクチャを提案している。このモデルは、LiTS 2017チャレンジで0.587のDiceスコアを達成し、学習可能なパラメータがたった200万個であるため、モバイルデバイスへの実装が可能である。

ABSTRACT

We propose a computationally efficient architecture that learns to segment lesions from CT images of the liver. The proposed architecture uses bilinear interpolation with sub-pixel convolution at the last layer to upscale the course feature in bottle neck architecture. Since bilinear interpolation and sub-pixel convolution do not have any learnable parameter, our overall model is faster and occupies less memory footprint than the traditional U-net. We evaluate our proposed architecture on the highly competitive dataset of 2017 Liver Tumor Segmentation (LiTS) Challenge. Our method achieves competitive results while reducing the number of learnable parameters roughly by a factor of 13.8 compared to the original UNet model.

研究の動機と目的

• 最先端の医療画像セグメンテーションモデル、特にU-Netの変種における高い計算コストとメモリ使用量を低減すること。
• リソース制約の厳しい医療環境におけるモバイルデバイスへの展開に適した、高速で効率的なアーキテクチャの開発。
• U-Netに類似したアーキテクチャにおける学習可能なパラメータ数を削減しつつ、セグメンテーション性能を損なわないこと。
• 事前学習済みモデルや3D-CRFのような後処理技術への依存を排除し、エンドツーエンドの学習を可能にすること。
• リソース制限のある地域において、リアルタイムでデバイス上で実行可能な肝腫瘍のセグメンテーション診断を実現すること。

提案手法

• U-Netのデコーダー部における従来のデコンボリューション層を、パラメータフリーの双線形補間とサブピクセル畳み込みに置き換えた。
• エンコーダーおよびデコーダーのブロックに深度分離畳み込みを適用し、パラメータ数を削減しながらもモデルの表現力は維持した。
• 空間的詳細を保持し、学習の安定性を向上させるために、長距離および短距離のスキップ接続を統合した。
• 各ResNetブロックの前後にバッチ正規化を適用し、内部共変量シフトを軽減し、収束性を向上させた。
• バッチサイズ16で10万イテレーション、75:25のトレーニング・バリデーション分割とkフォールド交差検証を用いてモデルを学習した。
• バリデーションDiceスコアに基づく早期停止を適用し、最良の性能を示した重みのみを保存した。

実験結果

リサーチクエスチョン

• RQ1 U-Netに基づくアーキテクチャが、顕著に少ない学習可能なパラメータ数で、競争力ある肝腫瘍セグメンテーション性能を達成できるか？
• RQ2 デコンボリューションを双線形補間とサブピクセル畳み込みに置き換えることで、推論速度とメモリ使用量にどのような影響があるか？
• RQ3 深度分離畳み込みを用いることで、モデルの複雑さをどの程度低減しつつも、セグメンテーション精度を維持できるか？
• RQ4 エンドツーエンドで学習可能な軽量モデルが、事前学習済み重みや後処理モジュールに依存するより複雑なモデルを上回る性能を発揮できるか？
• RQ5 このようなコンパクトなモデルをモバイルデバイスに実装し、リソース制限のある環境でリアルタイムの医療診断を可能にするのは現実的か？

主な発見

• 提案手法は、学習可能なパラメータ数を200万にまで削減し、元のU-Net（3000万パラメータ）と比較して13.8倍の削減を達成した。
• LiTS 2017チャレンジにおいて、Diceスコア0.587を達成し、ベースラインU-Netや他のいくつかの手法と比べてパラメータ効率に優れた性能を示した。
• Titan X GPUを用いた場合、トレーニング時間はベースラインU-Netの4日間から約2日間に短縮された。
• 事前学習済み重みや3D-CRFのような後処理モジュールを必要とせず、エンドツーエンドの学習と高速な推論が可能になった。
• 設計上の選択が示すように、低メモリフットプリントと高速な推論を備えているため、モバイルデバイスへの展開に適している。
• Vorontsovら（0.66）の結果よりDiceスコアは低いが、著しく低い複雑さで同等の性能を達成している。