[論文レビュー] Unsupervised High-level Feature Learning by Ensemble Projection for Semi-supervised Image Classification and Image Clustering

Dengxin Dai, Luc J. Van Gool|arXiv (Cornell University)|Feb 2, 2016

Advanced Image and Video Retrieval Techniques参考文献 64被引用数 24

ひとこと要約

本稿では、半教師あり画像分類および画像クラスタリングのための、未学習の高次特徴抽出手法として、アンサンブル投影（EP）を提案する。EPは、利用可能な全データ（教師ありおよび教師なし）から導出された多様な視覚的プロトタイプのアンサンブルに画像を投影することで、分類器に基づく類似度を用いて、個々の画像特徴と画像間の関係性を両方とも捉えることで、判別性の高い画像表現を学習する。この手法は、8つの標準データセットにおいてベースライン特徴を顕著に上回り、半教師あり分類において最先端の結果を達成するとともに、画像クラスタリングの純度を大幅に向上させた。

ABSTRACT

This paper investigates the problem of image classification with limited or no annotations, but abundant unlabeled data. The setting exists in many tasks such as semi-supervised image classification, image clustering, and image retrieval. Unlike previous methods, which develop or learn sophisticated regularizers for classifiers, our method learns a new image representation by exploiting the distribution patterns of all available data for the task at hand. Particularly, a rich set of visual prototypes are sampled from all available data, and are taken as surrogate classes to train discriminative classifiers; images are projected via the classifiers; the projected values, similarities to the prototypes, are stacked to build the new feature vector. The training set is noisy. Hence, in the spirit of ensemble learning we create a set of such training sets which are all diverse, leading to diverse classifiers. The method is dubbed Ensemble Projection (EP). EP captures not only the characteristics of individual images, but also the relationships among images. It is conceptually simple and computationally efficient, yet effective and flexible. Experiments on eight standard datasets show that: (1) EP outperforms previous methods for semi-supervised image classification; (2) EP produces promising results for self-taught image classification, where unlabeled samples are a random collection of images rather than being from the same distribution as the labeled ones; and (3) EP improves over the original features for image clustering. The code of the method is available on the project page.

研究の動機と目的

• 画像分類およびクラスタリングにおけるラベル付きデータの不足または欠如という課題に対処するため、豊富なラベルなしデータを活用すること。
• 複雑な正則化手法に依存せずに、個々の画像特徴と画像間の関係性の両方を捉える特徴学習手法を開発すること。
• 標準的な特徴に対して半教師あり分類および教師なしクラスタリングの両方で向上をもたらす、シンプルで効率的かつ柔軟なフレームワークを構築すること。
• さまざまな画像データセットおよび異なる教師あり設定下で、手法の有効性を検証すること。

提案手法

• EPは、全利用可能画像（教師ありおよび教師なしを含む）から、T個の多様な視覚的プロトタイプ集合のアンサンブルをサンプリングし、それらを代理クラスとして扱う。
• 各プロトタイプ集合に対して、画像がプロトタイプに類似しているかどうかに基づいて、画像を投影するための判別性の高い分類器を訓練する。
• 画像はこれらの分類器を介して投影され、得られた類似度スコア（類縁度）がスタックされ、より豊富な特徴ベクトルが生成される。
• データオーグメンテーションおよびサンプリング戦略を用いることで、訓練セットの多様性が保証され、ロバストネスと一般化性能が向上する。
• 最終的な分類器やクラスタリングアルゴリズムに依存しないため、SVMやk-means、スペクトルクラスタリングといった標準ツールとの統合が可能である。
• 最終的な特徴表現は、データの潜在的構造を活用する判別的かつ分布に配慮した方法で学習される。

実験結果

リサーチクエスチョン

• RQ1 ラベルなしデータのみを用いて、シンプルな教師なし特徴学習手法が、標準的な特徴を上回ることができるか？
• RQ2 ラベルなしデータがラベル付きデータとは異なる分布に従う場合（自己学習）に、提案手法はどの程度有効であるか？
• RQ3 学習された特徴は、元の特徴と比較して、画像クラスタリング性能をどの程度向上させることができるか？
• RQ4 プロトタイプに基づく投影によって画像間の関係性を捉えることで、標準的な特徴抽出法に比べてより優れた表現学習が達成できるか？

主な発見

• EPは、半教師あり画像分類において8つの標準データセットで最先端のパフォーマンスを達成し、以前の手法を上回った。
• Caltech-101データセットでは、10枚のラベル付き画像/クラスでベースラインCNNの分類精度70.7％を71.5％まで向上させた。
• 自己学習設定（ラベルなしデータが異なる分布に従う場合）においても、EPは強力なパフォーマンスを示し、ロバストネスを確認した。
• 画像クラスタリングにおいては、k-meansを用いた場合、Event-8で純度を9.6％、STL-10で6.5％向上させた。スペクトルクラスタリングを用いた場合、Scene-15で4.0％、Indoor-67で5.7％向上させた。
• すべてのクラスタリング評価において、元のCNN特徴を顕著に上回ったことから、意味のある画像間関係性を捉えられることを確認した。
• 計算効率が高く、任意の下流分類器やクラスタリングアルゴリズムと互換性がある。