[論文レビュー] Unsupervised Joint Mining of Deep Features and Image Labels for Large-scale Radiology Image Categorization and Scene Recognition

Xiaosong Wang, Le Lü+6 more|arXiv (Cornell University)|Jan 23, 2017

Advanced Neural Network Applications参考文献 53被引用数 7

ひとこと要約

本論文は、大規模な放射線診断およびシーン認識タスクにおける深層特徴と画像ラベルの教師なし共同マイニングを目的として、ループ型ディープ仮ラベル最適化（LDPO）フレームワークを提案する。クラスタリングされた特徴から繰り返し仮ラベルを精緻化し、CNNをファインチューニングすることで、LDPOはMIT-67で75.3%の教師なしシーン認識精度を達成し、教師あり手法の81.0%に近づき、人為的アノテーションなしで顕著に医療画像分類性能を向上させた。

ABSTRACT

The recent rapid and tremendous success of deep convolutional neural networks (CNN) on many challenging computer vision tasks largely derives from the accessibility of the well-annotated ImageNet and PASCAL VOC datasets. Nevertheless, unsupervised image categorization (i.e., without the ground-truth labeling) is much less investigated, yet critically important and difficult when annotations are extremely hard to obtain in the conventional way of "Google Search" and crowd sourcing. We address this problem by presenting a looped deep pseudo-task optimization (LDPO) framework for joint mining of deep CNN features and image labels. Our method is conceptually simple and rests upon the hypothesized "convergence" of better labels leading to better trained CNN models which in turn feed more discriminative image representations to facilitate more meaningful clusters/labels. Our proposed method is validated in tackling two important applications: 1) Large-scale medical image annotation has always been a prohibitively expensive and easily-biased task even for well-trained radiologists. Significantly better image categorization results are achieved via our proposed approach compared to the previous state-of-the-art method. 2) Unsupervised scene recognition on representative and publicly available datasets with our proposed technique is examined. The LDPO achieves excellent quantitative scene classification results. On the MIT indoor scene dataset, it attains a clustering accuracy of 75.3%, compared to the state-of-the-art supervised classification accuracy of 81.0% (when both are based on the VGG-VD model).

研究の動機と目的

• ImageNetに comparable な大規模で適切にアノテートされたデータセットが不足しているため、放射線科医ですら過大なコストとバイアスを伴う大規模医療画像アノテーションの課題に対処する。
• 医療画像検索エンジンの欠如および非専門家による臨床的アノテーションの困難さにより、Google検索やクラウドソーシングなどの従来の画像アノテーション手法に限界が生じる。
• 真のラベルを必要とせず、反復的精緻化によって深層畳み込みニューラルネットワーク（CNN）特徴と画像ラベルを同時に最適化する自己教師付きフレームワークを開発する。
• LDPOの有効性を、教師なし医療画像分類およびシーン認識の両タスクにおいて検証し、教師ありベースラインに近い性能を達成することを示す。
• ループ型最適化プロセスを用いて、意味的なクラスターや判別性の高い特徴へ収束する、スケーラブルで自動的な放射線画像の意味的カテゴリ発見を可能にする。

提案手法

• 画像パッチまたは全体画像から深層特徴を抽出するために、事前学習済みのCNN（例：AlexNet や VGG-VD）を用いてLDPOフレームワークを開始する。
• CNN埋め込み特徴に対してクラスタリング（例：k-means）を実行し、各画像の仮ラベルを生成する。これらを一時的な真のラベルとして扱う。
• 仮ラベル付きデータを用いてCNNをファインチューニングし、特徴の判別性とモデルの一般化性能を向上させ、より代表的な画像エンコーダーを構築する。
• プロセスを繰り返す：更新されたCNNで画像を再エンコーディングし、再クラスタリングおよび再学習を行い、表現学習とラベル精緻化を交互に繰り返すループ型最適化を形成する。
• 局所的視覚パターンモデリングを強化するため、パッチマイニング（PM）を導入する。特に、シーン認識タスクにおいて顕著な効果を発揮する。
• 最終的に学習された画像表現を、教師なしクラスタリング評価（純度、NMI）および教師あり分類（例：Liblinear）に使用し、自己学習特徴の品質を検証する。

実験結果

リサーチクエスチョン

• RQ1 真のラベルが存在しない状況下で、ループ型最適化フレームワークが深層特徴学習と画像ラベル発見を同時に改善できるか。
• RQ2 事前学習済みCNNからの深層特徴の教師なしクラスタリングは、シーン認識タスクにおいてどの程度教師あり手法に近い性能を達成できるか。
• RQ3 パッチレベルの視覚パターンマイニングの統合は、シーン認識における自己教師付き表現の判別力をどの程度向上させるか。
• RQ4 LDPOフレームワークは初期化に依存せず安定して収束するか。また、安定した性能に到達するまでの速度はどの程度か。
• RQ5 LDPOフレームワークは、専門家によるラベル付けを必要とせず、大規模な放射線画像データベースにおける効果的でスケーラブルな自動アノテーションを可能にするか。

主な発見

• MIT-67屋内シーンデータセットにおいて、VGG-VDとパッチマイニングを組み合わせたLDPO-V-PMは、教師なしクラスタリング精度75.3%を達成し、k-means（38.1%）やDMS（64.0%）といった従来の教師なし手法を顕著に上回った。
• LDPO-V-PMの性能（75.3%）は、同じVGG-VDモデルを用いた教師あり手法の最先端精度81.0%に非常に近く、自己教師付き表現学習の有効性を示している。
• LDPO-V-PM特徴を用いてLiblinearによる教師あり分類評価を実施したところ、72.5%の精度を達成し、自己学習特徴が高次元で判別可能であり、後続タスクに適していることを示した。
• LDPOフレームワークは初期化に対して頑健である：ランダム初期化とk-meansベースのラベル初期化の両方で、最終的な性能に類似した結果が得られ、収束への感受性が低いことが示された。
• 医療画像分類において、LDPOはAlexNet-FC7-Topicを用いてTop-1分類精度0.8109を達成し、教師なし放射線画像自動アノテーション分野における従来の最先端手法を上回った。
• より深いネットワーク（VGG-VD）の使用は、MIT-67のような大規模データセットでは顕著に性能を向上させたが、小規模データセットでは効果が限定的であった。これは、モデルの深さが高複雑度のシナリオにおいてより大きな利点を発揮することを示唆している。