[論文レビュー] Feature Representation Analysis of Deep Convolutional Neural Network using Two-stage Feature Transfer -An Application for Diffuse Lung Disease Classification-

Aiga Suzuki, Hidenori Sakanashi+2 more|arXiv (Cornell University)|Oct 15, 2018

Radiomics and Machine Learning in Medical Imaging参考文献 15被引用数 12

ひとこと要約

本稿では、拡散性肺疾患（DLD）の高分解能CTスキャンなどのテクスチャパターンを示す医用画像の分類を向上させるため、深層畳み込みニューラルネットワーク（DCNN）に二段階の特徴転移学習手法を提案する。自然画像で事前学習した後、テクスチャ画像でさらに事前学習し、最終的に目的のDLDデータセットで微調整することで、スクラッチからの学習や単一段階の転移学習と比較して優れた性能と頑健性を達成した。可視化結果から、エッジとテクスチャの両方の特徴を効果的に捉えていることが示された。

ABSTRACT

Transfer learning is a machine learning technique designed to improve generalization performance by using pre-trained parameters obtained from other learning tasks. For image recognition tasks, many previous studies have reported that, when transfer learning is applied to deep neural networks, performance improves, despite having limited training data. This paper proposes a two-stage feature transfer learning method focusing on the recognition of textural medical images. During the proposed method, a model is successively trained with massive amounts of natural images, some textural images, and the target images. We applied this method to the classification task of textural X-ray computed tomography images of diffuse lung diseases. In our experiment, the two-stage feature transfer achieves the best performance compared to a from-scratch learning and a conventional single-stage feature transfer. We also investigated the robustness of the target dataset, based on size. Two-stage feature transfer shows better robustness than the other two learning methods. Moreover, we analyzed the feature representations obtained from DLDs imagery inputs for each feature transfer models using a visualization method. We showed that the two-stage feature transfer obtains both edge and textural features of DLDs, which does not occur in conventional single-stage feature transfer models.

研究の動機と目的

• テクスチャパターンを示す拡散性肺疾患（DLD）HRCTスキャンにおける医用画像分類の分野で、限られた学習データという課題に取り組むこと。
• 学習データが少ない状況でもDCNNの一般化性能と頑健性を向上させるために、従来の単一段階転移学習を拡張すること。
• 自然画像とテクスチャ画像の複数のソースドメインで逐次的（successive）に事前学習を実施することで、医用画像タスクにおける特徴表現が向上するかどうかを調査すること。
• 異なる転移戦略によって学習された特徴表現が、DLD画像におけるエッジとテクスチャの両方にどれほど感受性を示すかを分析すること。

提案手法

• 本手法は二段階の特徴転移プロセスを採用する：まず大規模な自然画像データセット（例：ImageNet）でDCNNを事前学習し、次に、目的のDLD画像に類似したテクスチャ画像セットでさらに事前学習する。
• 二段階の事前学習を経た後、特徴抽出層および分類層を含むネットワーク全体を、目的のDLDデータセットで微調整する。
• 標準的なDCNNアーキテクチャ（例：AlexNetやVGGに類似）を用い、分類器に限定せず、すべての層に転移学習を適用することで、特徴階層を目的ドメインに適応させる。
• 特徴可視化には、デコンボリューションネットワーク（DeSaliNet）を用い、特に最終全結合層（Fc6）でのフィルターや活性化マップの解釈を実施する。
• 逆写像プロセスにより、デコンボリューション、マックスプーリング、ReLU操作を経て特徴マップを再構築し、空間的活性化パターンを保持して分析する。
• 本手法は、スクラッチからの学習、自然画像からの単一段階転移、自然画像＋テクスチャ画像の二段階転移という3つの学習戦略を比較する。

実験結果

リサーチクエスチョン

• RQ1 自然画像とテクスチャ画像の両方で事前学習を行う二段階特徴転移は、単一段階転移やスクラッチからの学習と比較して、DLD HRCT画像の分類性能を向上させるか？
• RQ2 ソースドメインの選択（自然画像対テクスチャ画像）が、医用画像タスクにおけるDCNNが学習する特徴表現にどのように影響するか？
• RQ3 目的学習データセットのサイズが小さくなった場合、二段階転移はモデルの頑健性をどの程度向上させるか？
• RQ4 異なる転移戦略で学習されたDCNNが捉える視覚的特徴（エッジ、テクスチャ）はどのようなものか？また、活性化パターンにどのような違いが生じるか？

主な発見

• 二段階特徴転移は、DLD HRCTデータセットにおいて最高の分類精度を達成し、スクラッチからの学習や単一段階転移学習を上回った。
• 本手法は、学習データ量の削減に対しても優れた頑健性を示し、限られたラベル付き例でも高い性能を維持した。
• 可視化結果から、二段階転移モデルは自然画像事前学習由来のエッジ構造と、テクスチャ画像事前学習由来のテクスチャパターンの両方に強く反応することが判明した。これに対して単一段階モデルは、片方の特徴に偏っていた。
• 自然画像でのみ事前学習されたモデルはエッジに強く反応したが、テクスチャへの反応は弱く、逆にテクスチャ画像でのみ事前学習されたモデルは、テクスチャに強く反応したがエッジには弱い反応を示した。
• 二段階アプローチにより、構造的特徴とテクスチャ的特徴の両方に感受性を示すバランスの取れた、包括的な特徴表現が得られた。これは、DLD診断に必要な特徴を効果的に捉えていることを示している。
• 結果から、ソースドメインの選択が特徴表現に顕著に影響することが示され、複数ドメインでの事前学習が、医用画像タスクにおけるDCNNの一般化能力を向上させることの有効性が示された。