[論文レビュー] Convolutional Clustering for Unsupervised Learning

Ayşegül Dündar, Jonghoon Jin+1 more|arXiv (Cornell University)|Nov 19, 2015

Advanced Neural Network Applications参考文献 22被引用数 73

ひとこと要約

本稿では、畳み込みニューラルネットワーク内の層間のスパースで構造的な接続を学習するとともに、フィルタの多様性を強制することでk-meansクラスタリングを強化する、教師なし深層学習フレームワーク「畳み込みk-meansクラスタリング」を提案する。この手法は、教師なしフィルタ学習手法の中で最先端の性能を達成し、STL-10では74.1%のテスト精度、MNISTでは最小限のラベルデータで0.5%の誤差を達成する。

ABSTRACT

The task of labeling data for training deep neural networks is daunting and tedious, requiring millions of labels to achieve the current state-of-the-art results. Such reliance on large amounts of labeled data can be relaxed by exploiting hierarchical features via unsupervised learning techniques. In this work, we propose to train a deep convolutional network based on an enhanced version of the k-means clustering algorithm, which reduces the number of correlated parameters in the form of similar filters, and thus increases test categorization accuracy. We call our algorithm convolutional k-means clustering. We further show that learning the connection between the layers of a deep convolutional neural network improves its ability to be trained on a smaller amount of labeled data. Our experiments show that the proposed algorithm outperforms other techniques that learn filters unsupervised. Specifically, we obtained a test accuracy of 74.1% on STL-10 and a test error of 0.5% on MNIST.

研究の動機と目的

• k-meansクラスタリングを畳み込みフィルタ学習に適応させることで、教師なし深層学習におけるフィルタの重複を低減すること。
• 層間のスパースで構造的な接続を学習することにより、教師なし特徴学習の一般化性能とスケーラビリティを向上させること。
• 教師なし事前学習と教師あり接続学習を組み合わせることで、最小限のラベルデータでのディープネットワークの有効な訓練を可能にすること。
• 符号化段階でのデータホワイトニングの必要性を排除すること。これは、辞書学習時にのみ適用することで、前処理パイプラインを単純化する。

提案手法

• フィルタ初期化時に空間的多様性を強制することで、重複したずらしフィルタの学習を防ぐ、修正されたk-meansアルゴリズムを提案する。
• 階層的で多層的なネットワークアーキテクチャを用いて畳み込みフィルタ学習を実施し、入力から階層的特徴を抽出する。
• 層間のスパース接続行列を導入し、特定の特徴グループのみを次の層に接続することで、パラメータの冗長性を低減する。
• 複数の層からの表現を連結することで多辞書アプローチを採用し、より豊かで判別力の高い特徴ベクトルを形成する。
• ReLU活性化関数とマックスプーリングを用いて次元削減を実現し、最終分類器における特徴階層を向上させる。
• ドロップアウト率0.5を用いた2層ネットワークで最終分類器を訓練し、過学習を防ぎ、特にラベルが少ない状況下でも安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 k-meansクラスタリングを、深層ネットワークにおける非冗長で畳み込み可能なフィルタを学習するために適応可能か？
• RQ2 層間の構造的でスパースな接続を学習することで、教師なし深層学習の性能が向上するか？
• RQ3 提案手法は、最小限のラベルデータで、既存の教師なしフィルタ学習手法を上回る精度を達成できるか？
• RQ4 符号化段階でのデータホワイトニングを排除しても性能が低下するか、安全に省略可能か？

主な発見

• 提案された畳み込みk-meansクラスタリング手法は、STL-10データセットで74.1%のテスト精度を達成し、先行する教師なし手法を上回った。
• MNISTデータセットでは、すべてのラベルデータを使用した場合、0.5%のテスト誤差を達成し、他の教師なし手法よりも顕著に低い。
• 600個のラベルデータのみでMNISTで2.8%の分類誤差を達成し、比較対象のすべての教師なしアルゴリズムを上回った。
• 2層の多辞書ネットワークは、先行研究と比べてパrameter数が1桁小さいにもかかわらず、STL-10で71.4%の精度を達成し、高い性能を示した。
• 符号化段階でのデータホワイトニングの必要性を排除することで、パイプラインが単純化されたが、高い性能を維持した。
• 層間のスパースで構造的な接続の統合により、特に低監視状態下で特徴表現学習の性能が顕著に向上した。