[論文レビュー] C-SVDDNet: An Effective Single-Layer Network for Unsupervised Feature Learning.

Dong Wang, Xiaoyang Tan|arXiv (Cornell University)|Dec 23, 2014

Advanced Image and Video Retrieval Techniques参考文献 23被引用数 4

ひとこと要約

C-SVDDNet は、K-means クラスタリングを強化するため、クラスタの密度と分布をより頑健にモデル化する新しい C-SVDD アルゴリズムを統合した単層の教師なし特徴学習ネットワークを提案する。同時に、マルチスケールの SIFT に類似たグローバル表現を用いて空間情報を統合する。この手法は、STL-10、MNIST、Holiday、Copydays のベンチマークで最先端の性能を達成する。

ABSTRACT

In this paper, we investigate the problem of learning feature representation from unlabeled data using a single-layer K-means network. A K-means network maps the input data into a feature representation by finding the nearest centroid for each input point, which has attracted researchers' great attention recently due to its simplicity, effectiveness, and scalability. However, one drawback of this feature mapping is that it tends to be unreliable when the training data contains noise. To address this issue, we propose a SVDD based feature learning algorithm that describes the density and distribution of each cluster from K-means with an SVDD ball for more robust feature representation. For this purpose, we present a new SVDD algorithm called C-SVDD that centers the SVDD ball towards the mode of local density of each cluster, and we show that the objective of C-SVDD can be solved very efficiently as a linear programming problem. Additionally, traditional unsupervised feature learning methods usually take an average or sum of local representations to obtain global representation which ignore spatial relationship among them. To use spatial information we propose a global representation with a variant of SIFT descriptor. The architecture is also extended with multiple receptive field scales and multiple pooling sizes. Extensive experiments on several popular object recognition benchmarks, such as STL-10, MINST, Holiday and Copydays shows that the proposed C-SVDDNet method yields comparable or better performance than that of the previous state of the art methods.

研究の動機と目的

• ノイズのあるデータ下での K-means に基づく特徴学習の不安定性を解消するため、クラスタ表現の頑健性を向上させること。
• 標準的な SVDD よりも、クラスタの密度と分布をより正確にモデル化するため、SVDD の球の中心を局所的密度モードに配置すること。
• 通常、平均化や和集合によってグローバル表現が行われる際、無視されがちな局所特徴間の空間的関係を組み込むこと。
• 特徴の識別性を向上させるために、SIFT記述子のマルチスケール・マルチプーリング変種を用いてグローバル表現を強化すること。
• 提案された C-SVDD アルゴリズムのための効率的な線形計画法の定式化を構築し、スケーラビリティと高速性を確保すること。

提案手法

• K-means クラスタ内の局所的密度モードを中心にしたハイパースフィアを配置することで、クラスタ構造をよりよく捉える、改良された SVDD である C-SVDD を提案する。
• C-SVDD 目的関数を線形計画問題として解くことで、効率的かつスケーラブルな最適化を実現する。
• 局所特徴内の階層的空間パターンを捉えるために、マルチリセプティブフィールドおよびマルチプーリングサイズアーキテクチャを導入する。
• 複数スケールにわたる空間的レイアウトを符号化する SIFT に類似た記述子の変種を用いてグローバル表現を構築する。
• K-means に基づく局所特徴マッピングと C-SVDD に基づくクラスタモデリング、空間に配慮したグローバル表現を統合した単層ネットワークを構築する。
• 教師なしデータを必要とせず、特徴学習と表現が統合的に最適化されるフレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 局所的密度モードを中心にした修正された SVDD アプローチは、ノイズ下でも K-means に基づく特徴学習の頑健性を向上させることができるか？
• RQ2 局所特徴間の空間的関係を組み込むことで、教師なし学習におけるグローバル表現の質はどのように向上するか？
• RQ3 提案された C-SVDD の線形計画法定式化は、単層ネットワークにおける効率的かつスケーラブルな特徴学習を可能にするか？
• RQ4 マルチスケールの受容野とプーリングの統合は、標準的なオブジェクト認識ベンチマークでの性能向上に寄与するか？
• RQ5 C-SVDDNet は、最先端の教師なし特徴学習手法と比較して、正確性と頑健性の面で優れているか？

主な発見

• C-SVDDNet は、STL-10、MNIST、Holiday、Copydays データセットにおいて、以前の最先端手法と同等またはそれ以上の性能を達成する。
• 提案された C-SVDD アルゴリズムは、局所的密度モードに SVDD 球の中心を配置することで、クラスタの密度と分布を効果的にモデル化し、ノイズに対する頑健性が向上する。
• マルチスケール・マルチプーリングの SIFT に類似たグローバル表現の使用により、空間的関係が捉えられ、特徴の識別性が向上する。
• C-SVDD 目的関数は線形計画問題として効率的に解けるため、高速かつスケーラブルな学習が可能になる。
• C-SVDD と K-means、空間に配慮したグローバル表現の統合により、より信頼性が高く汎用性の高い特徴表現が得られる。
• 実験結果により、提案手法が標準的な K-means や従来の教師なし特徴学習ベースラインを、標準ベンチマークで上回ることが確認された。