[論文レビュー] Revisiting Rubik's Cube: Self-supervised Learning with Volume-wise Transformation for 3D Medical Image Segmentation

Tao Xing, Yuexiang Li+3 more|arXiv (Cornell University)|Jul 17, 2020

Advanced Neural Network Applications参考文献 19被引用数 6

ひとこと要約

本論文では、3Dボクセル回転などのボリュームワイド変換を用いて、3D U-Netアーキテクチャのエンコーダーとデコーダーの両方を事前学習する、3D医療画像セグメンテーションのための画期的な自己教師あり学習フレームワーク「Rubik’s cube++」を提案する。空間的に整合性のある部分立方体の入れ替えを提示タスクとして定式化することで、追加のアノテート済みデータを必要とせず、膵臓および脳組織データセットにおけるセグメンテーション精度を著しく向上させ、最先端の性能を達成した。

ABSTRACT

Deep learning highly relies on the quantity of annotated data. However, the annotations for 3D volumetric medical data require experienced physicians to spend hours or even days for investigation. Self-supervised learning is a potential solution to get rid of the strong requirement of training data by deeply exploiting raw data information. In this paper, we propose a novel self-supervised learning framework for volumetric medical images. Specifically, we propose a context restoration task, i.e., Rubik's cube++, to pre-train 3D neural networks. Different from the existing context-restoration-based approaches, we adopt a volume-wise transformation for context permutation, which encourages network to better exploit the inherent 3D anatomical information of organs. Compared to the strategy of training from scratch, fine-tuning from the Rubik's cube++ pre-trained weight can achieve better performance in various tasks such as pancreas segmentation and brain tissue segmentation. The experimental results show that our self-supervised learning method can significantly improve the accuracy of 3D deep learning networks on volumetric medical datasets without the use of extra data.

研究の動機と目的

• ディープラーニングにおけるアノテート済み3D医療画像データの限界という重要なボトルネックに対処すること。
• 内在する3D解剖学的構造を活用した自己教師あり提示タスクを用いて、深層ネットワークの事前学習により3D医療画像セグメンテーションを向上させること。
• 従来の自己教師あり手法がエンコーダー層のみを事前学習するという制限を克服し、コンテキスト回復タスクを通じてエンコーダーとデコーダーを同時に事前学習すること。
• ボリュームワイド変換（例：3Dボクセル回転）が、ピクセル単位またはグリッドベースの変換よりもより強固な特徴表現をもたらすかどうかを検証すること。

提案手法

• 本手法は、3Dボリューム医療画像を、各辺が n×n×n のサブキューブにグリッド分割し、ルービックキューブに類似た構造を形成する。
• ボリュームワイド変換として、冠状面、額状面、軸状面に沿って、全体のキューブ層を90°、180°、270°回転させることで、空間的一致性を保持しつつタスクの難易度を高める。
• 提示タスクはコンテキスト回復である。ネットワークは変換後の3Dボリュームの元の空間的配置を予測する必要がある。これにより、3D構造的事前知識の学習が促進される。
• フレームワークは、3D U-Netなどの完全畳み込みネットワーク（FCN）に適用され、エンコーダーとデコーダーの両パスの同時事前学習が可能になる。
• エンドツーエンドで訓練され、変換されたバージョンから元のボリュームを正しく再構成するよう促すコントラスト型損失が使用される。
• クロスバリデーションを用いて、パニックレアス-101およびMRBrainS18を含む公開データセットで評価され、主な指標としてDice類似係数（DSC）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト回復タスクにおけるボリュームワイド変換は、ピクセル単位またはグリッドベースの変換と比較して、3D解剖学的特徴の学習を向上させるか？
• RQ2 コンテキスト回復タスクを通じてエンコーダーとデコーダーの両方を事前学習することで、エンコーダーのみを事前学習する手法と比較して、3D医療画像セグメンテーションの性能が向上するか？
• RQ3 サブキューブサイズ n によって制御される提示タスクの難易度が、学習された表現の質および下流のセグメンテーション精度に与える影響は何か？
• RQ4 提案手法であるRubik’s cube++は、3D医療画像セグメンテーションタスクにおいて、Models Genesis や Rubik’s cube [20] などの既存の自己教師ありベースラインより統計的に優れているか？

主な発見

• 脳組織セグメンテーションにおいて、Rubik’s cube++は、スクラッチからの学習と比較して平均Dice類似係数（DSC）を5.34%向上させ、UCF101事前学習や他の自己教師ありベースラインを上回った。
• 膵臓セグメンテーションでは、100%の訓練データを使用した場合、DSCが84.08%を達成し、次善のベースライン（83.72%）を顕著に上回り、全データ設定で一貫した向上を示した。
• t検定により、Models Genesis との差は5%水準で統計的に有意（p値 = 3.42%）であると確認され、本手法の頑健性が裏付けられた。
• 最適なサブキューブサイズ n=7 が、タスクの難易度と特徴学習のバランスを最も良くし、50%の訓練データではDSCが82.80%、100%では84.08%にピークに達した。
• nを9に増加させると性能が低下した。これは、3D構造の過度な破壊が解剖学的情報抽出を損ない、表現の頑健性を低下させるためである。
• 本手法は、コンテキスト回復タスクを通じてエンコーダーとデコーダーの両方を事前学習することで、エンコーダーのみを事前学習する手法と比較して優れたセグメンテーション性能を達成することを示した。