[論文レビュー] Unsupervised Category Discovery via Looped Deep Pseudo-Task Optimization Using a Large Scale Radiology Image Database

Xiaosong Wang, Le Lü+5 more|arXiv (Cornell University)|Mar 25, 2016

Radiomics and Machine Learning in Medical Imaging参考文献 51被引用数 11

ひとこと要約

本稿では、大規模な放射線画像における教師なしカテゴリ発見のため、画像クラスタリングおよび深層畳み込みニューラルネットワーク（CNN）特徴量学習を段階的に改善する自己教師ありフレームワーク「ループ型ディープ仮ラベル最適化（LDPO）」を提案する。クラスタリングによる仮ラベル付与とこれらのラベルに基づくCNNのファインチューニングを交互に繰り返すことで、視覚的に一貫性があり臨床的に意味のあるカテゴリを達成した。270クラスで81.09%のTop-1正答率を達成し、先行研究を著しく上回った。

ABSTRACT

Obtaining semantic labels on a large scale radiology image database (215,786 key images from 61,845 unique patients) is a prerequisite yet bottleneck to train highly effective deep convolutional neural network (CNN) models for image recognition. Nevertheless, conventional methods for collecting image labels (e.g., Google search followed by crowd-sourcing) are not applicable due to the formidable difficulties of medical annotation tasks for those who are not clinically trained. This type of image labeling task remains non-trivial even for radiologists due to uncertainty and possible drastic inter-observer variation or inconsistency. In this paper, we present a looped deep pseudo-task optimization procedure for automatic category discovery of visually coherent and clinically semantic (concept) clusters. Our system can be initialized by domain-specific (CNN trained on radiology images and text report derived labels) or generic (ImageNet based) CNN models. Afterwards, a sequence of pseudo-tasks are exploited by the looped deep image feature clustering (to refine image labels) and deep CNN training/classification using new labels (to obtain more task representative deep features). Our method is conceptually simple and based on the hypothesized "convergence" of better labels leading to better trained CNN models which in turn feed more effective deep image features to facilitate more meaningful clustering/labels. We have empirically validated the convergence and demonstrated promising quantitative and qualitative results. Category labels of significantly higher quality than those in previous work are discovered. This allows for further investigation of the hierarchical semantic nature of the given large-scale radiology image database.

研究の動機と目的

• 放射線画像データベースにおける大規模かつ高品質なセマンティックラベルの不足が、有効なディープラーニングの実現を妨げているという問題に対処すること。
• 放射線レポートを用いた先行研究におけるテキストのみのクラスタリング（例：不均衡、視覚的整合性の欠如）の限界を克服すること。
• 人為的ラベルなしに、視覚的に一貫性があり臨床的に関連性のある画像カテゴリを自動で発見する自己教師あり手法を開発すること。
• 仮ラベルとディープ特徴量の反復的精錬が、より正確で意味のあるカテゴリ発見へ収束することを検証すること。

提案手法

• LDPOは、仮ラベルを用いた深層CNNのファインチューニングと、更新されたディープ特徴量を用いた画像クラスタリングを交互に繰り返すループ型最適化プロセスを用いる。
• この手法は、ドメイン特化型（放射線画像で訓練済み）または汎用型（ImageNetで事前学習済み）のCNNを初期化に用い、初期ディープ特徴量を抽出する。
• 深層特徴量上でk-meansを用いて画像クラスタリングを行い、次の学習イテレーション用の仮ラベルを生成する。
• 分類とクラスタリングの間のフィードバックによって、CNNの分類能力と画像クラスタの質の両方を段階的に向上させる。
• より良いラベルがより良い特徴量を生み出し、より良い特徴量がより良いクラスタリングを生むという仮説に基づき、収束するループを形成する。
• CNNの誤分類行列を用いたアフィニティプロパゲーションを用いて、発見されたクラスタの意味的組織化を可能にする階層的カテゴリツリーを構築する。

実験結果

リサーチクエスチョン

• RQ1 反復的仮タスク最適化は、大規模な放射線画像における教師なしカテゴリ発見の質を向上させることができるか？
• RQ2 仮ラベルとディープ特徴量のループ型精錬は、より正確で視覚的に一貫性のあるクラスタへ収束するか？
• RQ3 視覚的整合性と分類性能の観点から、LDPOはテキストのみのクラスタリング手法よりも優れているか？
• RQ4 LDPOは、先行手法よりも意味的・臨床的に関連性の高い多くのカテゴリを発見できるか？

主な発見

• LDPOは、AlexNet-FC7-Topicを用いて270の発見済み画像カテゴリでTop-1正答率81.09%、Top-5正答率94.12%を達成し、先行のテキストのみの手法（80クラス、Top-1正答率60.72%）を著しく上回った。
• AlexNet-FC7-ImageNetバージョンは275クラスでTop-1正答率80.99%、Top-5正答率95.47%を達成し、より多くのクラスで優れた性能を示した。
• 放射線科医による主観的評価では、AlexNet-FC7-Topic（270クラス）およびAlexNet-FC7-ImageNet（275クラス）モデルが好まれ、発見されたクラスタの臨床的妥当性が確認された。
• Texture-25データセットでは、6イテレーションでLDPOの純度が53.9%から66.1%に上昇し、ループ型最適化プロセスの収束を確認した。
• 本フレームワークは、(270, 64, 15, 4, 1)段階の階層的カテゴリツリーを生成し、発見されたクラスタの意味的構造を検証した。
• 手作業による特徴量設計や順序なし符号化方式（例：FV, VLAD）を必要とせず、グローバルな画像レイアウト情報を保持した。