[論文レビュー] Embedding Task Knowledge into 3D Neural Networks via Self-supervised Learning

Jiuwen Zhu, Yuexiang Li+2 more|arXiv (Cornell University)|Jun 10, 2020

Domain Adaptation and Few-Shot Learning参考文献 13被引用数 4

ひとこと要約

本稿では、3D CNNに病変関連の事前知識を埋め込むことで、ラベル付きデータが少ない状況でも3D医療画像分類の性能を向上させる自己教師付き学習手法である、タスク関連対照的予測符号化（TCPC）を提案する。SLICを用いたスーパーヴoxelクラスタリングにより候補病変領域を局在化し、これらの領域周辺の部分集合に対して、キャリブレートされた'U'字型の対照的予測符号化スキームを適用することで、脳出血および肺がんデータセットで最先端の性能を達成した。

ABSTRACT

Deep learning highly relies on the amount of annotated data. However, annotating medical images is extremely laborious and expensive. To this end, self-supervised learning (SSL), as a potential solution for deficient annotated data, attracts increasing attentions from the community. However, SSL approaches often design a proxy task that is not necessarily related to target task. In this paper, we propose a novel SSL approach for 3D medical image classification, namely Task-related Contrastive Prediction Coding (TCPC), which embeds task knowledge into training 3D neural networks. The proposed TCPC first locates the initial candidate lesions via supervoxel estimation using simple linear iterative clustering. Then, we extract features from the sub-volume cropped around potential lesion areas, and construct a calibrated contrastive predictive coding scheme for self-supervised learning. Extensive experiments are conducted on public and private datasets. The experimental results demonstrate the effectiveness of embedding lesion-related prior-knowledge into neural networks for 3D medical image classification.

研究の動機と目的

• 深層学習におけるアノテート済み3D医療画像データの不足という課題に対処すること。
• 自己教師付き事前学習にタスク固有の事前知識を組み込むことで、3D医療画像分類の性能を向上させること。
• 一般的な画像増強タスクよりも臨床的診断に近い関連性を持つ代理タスクを自己教師付き学習に導入すること。
• 病変に注意を向けた自己教師付き事前学習が、特にラベル付きデータが少ない状況で、下流分類タスクの性能を向上させることを実証すること。

提案手法

• 3D医療ボリューム内の潜在的病変領域を特定するために、シンプル・ラインハーフ・イテラティブ・クラスタリング（SLIC）を用いてスーパーヴォクセルを生成する。
• スーパーヴォクセル領域を中心に部分集合を切り出すことで、診断的に関連する領域に焦点を当てる。
• 対照的予測符号化におけるサポート特徴の生成に、キャリブレートされた'U'字型パスを提案し、文脈的特徴の学習を改善する。
• 部分集合に対して対照的予測符号化（CPC）を適用し、空間的に構造化されたサポートセットからの特徴を用いてターゲットキューブの特徴を予測する。
• 特徴抽出および未ラベルデータを用いた事前学習のための3D CNNバックボーンを採用し、TCPCの代理タスクを用いる。
• UCF101からの転移学習とTCPC事前学習を組み合わせることで、医療データセットにおける性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 病変関連の事前知識を組み込んだ自己教師付き学習手法は、3D医療画像分類の性能を向上させることができるか？
• RQ2 病変局在に基づくタスク固有の代理タスクは、一般的な代理タスクと比較して、自己教師付き3D学習においてどのように異なるか？
• RQ3 ラベル付きデータが非常に少ない状況において、TCPCはどの程度性能を向上させるか？
• RQ4 自然画像からの転移学習とタスクに注意を向けた自己教師付き事前学習を組み合わせることで、分類精度をさらに向上させることができるか？

主な発見

• 脳出血データセットでは、TCPCは平均78.38%の精度と0.921のAUCを達成し、3D CPCやルービックキューブを含むすべてのベースラインを上回った。
• 肺がんデータセットでは、3D VGGを用いた場合に95.86%の精度、3D ResNet-18を用いた場合に98.88%の精度を達成し、3Dジャイガーやルービックキューブ手法を上回った。
• UCF101 + TCPCの段階的アプローチにより、平均で1%の精度向上が達成され、肺結節において3D VGGでは97.85%、ResNet-18では99.40%の精度に到達した。
• TCPCはハイパーパrameterに対して頑健であり、キューブサイズが大きくなるに従い、より豊かな文脈的情報が得られることで性能が向上した。
• 最小限のラベル付きデータでも、TCPCは初期学習から訓練した場合に比べて一貫して精度とAUCを向上させ、特にデータが少ない状況で顕著な改善を示した。