[論文レビュー] A Multiresolution Convolutional Neural Network with Partial Label Training for Annotating Reflectance Confocal Microscopy Images of Skin

Alican Bozkurt, Kıvanç Köse+5 more|arXiv (Cornell University)|Feb 5, 2018

Cutaneous Melanoma Detection and Management被引用数 9

ひとこと要約

本論文では、皮膚の反射型共焦点顕微鏡（RCM）画像において、4つの主要な形態的パターンを自動的にアノテートするため、選択的損失関数を備えたマルチスケールネスト型U-Netアーキテクチャを提案する。56枚のメラノーマ懸念の12k×12kピクセルの部分ラベル付き画像で訓練されたモデルは、診断に有用なパターンの検出において高い感度と特異度を達成し、ラベルなし領域の一貫性のあるラベリングを可能にし、RCMの臨床的応用におけるトレーニングを加速する。

ABSTRACT

We describe a new multiresolution "nested encoder-decoder" convolutional network architecture and use it to annotate morphological patterns in reflectance confocal microscopy (RCM) images of human skin for aiding cancer diagnosis. Skin cancers are the most common types of cancers, melanoma being the deadliest among them. RCM is an effective, non-invasive pre-screening tool for skin cancer diagnosis, with the required cellular resolution. However, images are complex, low-contrast, and highly variable, so that clinicians require months to years of expert-level training to be able to make accurate assessments. In this paper, we address classifying 4 key clinically important structural/textural patterns in RCM images. The occurrence and morphology of these patterns are used by clinicians for diagnosis of melanomas. The large size of RCM images, the large variance of pattern size, the large-scale range over which patterns appear, the class imbalance in collected images, and the lack of fully-labeled images all make this a challenging problem to address, even with automated machine learning tools. We designed a novel nested U-net architecture to cope with these challenges, and a selective loss function to handle partial labeling. Trained and tested on 56 melanoma-suspicious, partially labeled, 12k x 12k pixel images, our network automatically annotated diagnostic patterns with high sensitivity and specificity, providing consistent labels for unlabeled sections of the test images. Providing such annotation will aid clinicians in achieving diagnostic accuracy, and perhaps more important, dramatically facilitate clinical training, thus enabling much more rapid adoption of RCM into widespread clinical use process. In addition, our adaptation of U-net architecture provides an intrinsically multiresolution deep network that may be useful in other challenging biomedical image analysis applications.

研究の動機と目的

• 反射型共焦点顕微鏡（RCM）画像における皮膚の臨床的に有意義な4つの形態的パターンを分類する課題に対処すること。
• RCMデータにおける大規模な画像サイズ、パターンのスケールのばらつき、クラス不均衡、および希なラベリングによって生じる制限を克服すること。
• 大規模なRCM画像全体にわたり一貫性があり、高精度なアノテーションを提供するディープラーニングフレームワークの開発。
• 熟練した専門家による長時間のトレーニングを減らすことで、RCMの臨床的導入を迅速化すること。
• 他のバイオメディカル画像解析タスクにも適応可能なマルチスケールアーキテクチャの開発。

提案手法

• 複数スケールの特徴を捉えるために、新しいネスト型エンコーダ-デコーダ型U-Netアーキテクチャを設計し、さまざまなスケールでのパターン検出を向上させる。
• ラベルあり領域に注目しながら、ラベルなし領域からのノイズを最小限に抑えることで、部分ラベリングに対応するための選択的損失関数を導入。
• データオーグメンテーションを用いてクラス不均衡を緩和し、56枚の部分ラベル付き12k×12k RCM画像上でエンドツーエンドにネットワークを訓練。
• アーキテクチャにより、細かいスケールと粗いスケールの両方の形態的パターンの検出が可能な、内在的なマルチスケール特徴学習が可能。
• スプライス接続を用いることで空間的詳細を保持し、微細な診断的特徴の正確なセグメンテーションに不可欠。
• 学習率スケジューリングを用いた確率的勾配降下法により最適化し、収束性と一般化性能を向上。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールディープラーニングアーキテクチャは、大規模でコントラストが低いRCM画像において、複数の形態的パターンを効果的に検出できるか？
• RQ2 臨床的RCMデータセットにおける部分ラベリングは、頑健なセグメンテーションモデルの学習にどのように活用できるか？
• RQ3 ネスト型U-Netアーキテクチャは、標準的なU-Netと比較して、RCM画像解析における検出感度と特異度をどの程度向上させるか？
• RQ4 提案手法により、一貫性があり自動化されたアノテーションが提供されることで、RCMにおける熟練した専門家レベルのトレーニングの必要性をどの程度軽減できるか？
• RQ5 選択的損失関数は、不完全なラベルの影響をモデル性能に及ぼすのを効果的に低減できるか？

主な発見

• モデルは、部分ラベリングがあっても、RCM画像における4つの主要な診断パターンの検出において高い感度と特異度を達成した。
• ネスト型U-Netアーキテクチャは、複数スケールにわたる形態的パターンを効果的に捉え、大規模な画像における検出精度を向上させた。
• 選択的損失関数は、部分ラベルに対処し、ノイズを低減させ、学習の安定性を向上させた。
• モデルは、テスト画像のラベルなし領域に対しても一貫性があり信頼性の高いアノテーションを提供し、全画像の診断的支援を可能にした。
• フレームワークは12k×12k RCM画像において優れた一般化性能を示し、ベースラインモデルと比較してパターンの局所化とセグメンテーションで優れた性能を発揮した。
• 本手法は、臨床医がRCMにおける診断的熟練度に到達するのに要する時間を顕著に短縮し、臨床的導入を加速した。