[論文レビュー] PGL: Prior-Guided Local Self-supervised Learning for 3D Medical Image Segmentation

Yutong Xie, Jianpeng Zhang+3 more|arXiv (Cornell University)|Nov 25, 2020

Advanced Neural Network Applications参考文献 40被引用数 35

ひとこと要約

PGLは事前情報ガイド付きローカル自己教師付き学習フレームワークを導入し、3D医用画像の領域別表現を学習することで、限られた注釈でファインチューニングした場合の下流セグメンテーションを改善します。

ABSTRACT

It has been widely recognized that the success of deep learning in image segmentation relies overwhelmingly on a myriad amount of densely annotated training data, which, however, are difficult to obtain due to the tremendous labor and expertise required, particularly for annotating 3D medical images. Although self-supervised learning (SSL) has shown great potential to address this issue, most SSL approaches focus only on image-level global consistency, but ignore the local consistency which plays a pivotal role in capturing structural information for dense prediction tasks such as segmentation. In this paper, we propose a PriorGuided Local (PGL) self-supervised model that learns the region-wise local consistency in the latent feature space. Specifically, we use the spatial transformations, which produce different augmented views of the same image, as a prior to deduce the location relation between two views, which is then used to align the feature maps of the same local region but being extracted on two views. Next, we construct a local consistency loss to minimize the voxel-wise discrepancy between the aligned feature maps. Thus, our PGL model learns the distinctive representations of local regions, and hence is able to retain structural information. This ability is conducive to downstream segmentation tasks. We conducted an extensive evaluation on four public computerized tomography (CT) datasets that cover 11 kinds of major human organs and two tumors. The results indicate that using pre-trained PGL model to initialize a downstream network leads to a substantial performance improvement over both random initialization and the initialization with global consistency-based models. Code and pre-trained weights will be made available at: https://git.io/PGL.

研究の動機と目的

• densely labeled data に依存を減らして、注釈効率の良い3D医用画像セグメンテーションを動機づける。
• globals の特徴整合性だけでなく、局所的で領域ごとの構造情報を捉える自己教師付きアプローチを開発する。
• Augmented views 間で局所特徴を整列させるために空間変換の事前情報を活用する。
• PGL を複数の公開CTデータセットで評価し、転移性と頑健性を検証する。

提案手法

• データ拡張モジュールを用いて各3D画像の2つの拡張ビューを生成する。
• オンラインとターゲットネットワークを用いた事前情報ガイド型デュアルパスアーキテクチャを導入し、局所特徴の整列を学習する。
• 従来のグローバルプロジェクターを局所構造対応型プロジェクターと事前情報ガイド整列器に置換する。
• RoIAlignを3D空間で用いて対応する局所領域からの特徴を整列させるために、Cropping/ScalingとFlippingの事前情報を組み込む。
• オンライン経路に予測器を置いた局所特徴の整列誤差を最小化する局所的一貫性損失を定義する。
• 安定したターゲット信号を提供するため、ターゲットネットワークの重みを指数移動平均で更新する（BYOLスタイル）。

実験結果

リサーチクエスチョン

• RQ1 局所的で事前情報ガイド付きの自己教師付き学習は、3D医用画像セグメンテーションに利益をもたらす領域レベルの構造情報を捉えることができるか。
• RQ2 空間変換の事前情報（クロッピング/スケーリングとフリッピング）は、グローバルSSLアプローチと比較して局所表現の品質を改善するか。
• RQ3 限られた注釈しかない diverse CTデータセットにおけるPGLの事前学習は、下流のセグメンテーション性能にどのような影響を与えるか。

主な発見

• PGLの事前学習は、四つのCTデータセット（肝臓、脾臓、KiTS、BCV）でランダム初期化より下流セグメンテーションを一貫して改善する。
• PGLによるランダム初期化に対する平均Diceの利得: 肝臓 +2.08、脾臓 +2.37、KiTS +2.72、BCV +2.20。
• PGLはModels GenesisおよびBYOLを事前学習戦略として上回り、BYOLが最も強力なグローバルSSLベースラインであり、PGLは平均Dice利得でより高い値を達成する（例: BYOLに対する平均で+1.23%）。
• Cropping/ScalingとFlippingの事前情報を同時に用いるとセグメンテーション性能が最も良く、片方または両方を除去すると性能が低下する Ablation が示される。
• 本手法は注釈が限られている場合でも頑健性を示し、下流のラベル付きデータが乏しいときにより大きな利得を提供する。