[論文レビュー] Unsupervised Learning using Pretrained CNN and Associative Memory Bank

Qun Liu, Supratik Mukhopadhyay|arXiv (Cornell University)|May 2, 2018

Advanced Neural Network Applications参考文献 45被引用数 4

ひとこと要約

この論文は、事前学習されたCNN（VGG-16/ResNet-50）を用いて自動特徴抽出を実現し、バックプロパゲーションを伴わないクラスプロトタイプの保存を可能にするホフリートネットワークベースの連想記憶バンクを活用する教師なしオブジェクト認識フレームワークを提案する。微調整なしでCaltech101で91.0%、CIFAR-10で83.1%の精度を達成し、教師なし学習分野における競争力のある性能を示した。

ABSTRACT

Deep Convolutional features extracted from a comprehensive labeled dataset, contain substantial representations which could be effectively used in a new domain. Despite the fact that generic features achieved good results in many visual tasks, fine-tuning is required for pretrained deep CNN models to be more effective and provide state-of-the-art performance. Fine tuning using the backpropagation algorithm in a supervised setting, is a time and resource consuming process. In this paper, we present a new architecture and an approach for unsupervised object recognition that addresses the above mentioned problem with fine tuning associated with pretrained CNN-based supervised deep learning approaches while allowing automated feature extraction. Unlike existing works, our approach is applicable to general object recognition tasks. It uses a pretrained (on a related domain) CNN model for automated feature extraction pipelined with a Hopfield network based associative memory bank for storing patterns for classification purposes. The use of associative memory bank in our framework allows eliminating backpropagation while providing competitive performance on an unseen dataset.

研究の動機と目的

• 教師あり深層学習のデータ依存性を軽減し、微調整を伴わない教師なしオブジェクト認識を実現すること。
• ゼロショットやワンショット学習の限界を克服し、自動特徴抽出とスケーラブルな分類を可能にすること。
• 事前学習済みCNNと連想記憶を組み合わせたフレームワークを構築し、バックプロパゲーションを伴わない堅牢な分類を実現すること。
• ターゲットドメインのラベル付き学習データを一切必要とせず、多様なデータセットにわたる一般化可能なオブジェクト認識を可能にすること。
• 教師あり適応を回避し、特徴マップと記憶バンクのみを用いて、ベンチマークデータセットで競争力のある性能を示すこと。

提案手法

• ImageNetで事前学習されたCNN（VGG-16またはResNet-50）を用いて、入力画像からの深層畳み込み特徴を抽出する。
• K-meansクラスタリングを用いて、各クラスごとにプーリングされた特徴マップから重心パターンを計算し、コアプロトタイプを形成する。
• これらの重心パターンをホフリートネットワークベースの連想記憶バンクに格納し、パターンの検索と分類を実現する。
• テスト画像の特徴マップ重心と格納済みの記憶パターンとの類似度をホフリートネットワークを用いて計算し、分類を行う。
• 類似度に基づくパターンの再構築能力に依存することで、バックプロパゲーションを排除する。
• データ拡張や微調整を一切適用せず、すべてのモデルを固定された、凍結された特徴抽出モードで使用する。

実験結果

リサーチクエスチョン

• RQ1 事前学習CNNと連想記憶バンクを組み合わせることで、微調整なしに競争力のある教師なし分類精度を達成できるか？
• RQ2 各クラスあたりのコアパターン数が、提案フレームワークにおける分類性能に与える影響は何か？
• RQ3 Caltech101、Caltech256、CIFAR-10といった多様なデータセットにおいて、このフレームワークは教師なし設定でも一般化可能か？
• RQ4 提案された教師なし手法は、標準ベンチマークにおいて、最先端の教師ありおよび半教師あり手法と比較してどの程度の性能を示すか？
• RQ5 ホフリートネットワークベースの記憶バンクを用いることで、バックプロパゲーションとラベル付きデータを回避しながら効果的な分類が可能になるか？

主な発見

• 提案フレームワークは、ResNet-50を用いてCaltech101で91.0%、Caltech256で77.4%のトップ1精度を達成し、他の教師なし手法を上回った。
• CIFAR-10では、ResNet-50を用いて83.1%の精度を達成し、データ拡張を一切行わずともDCGANや他の教師なしベースラインを上回った。
• クラス1つあたり1つのコアパターンのみを用いても、Caltech101で89.6%の精度を達成し、ロバストネスと最小限のインダクティブバイアスを示した。
• コアパターン数の増加に伴い性能が向上したが、閾値を超えると安定化またはわずかに低下し、最適なパターン数を超えると収益が減少することが示された。
• 誤分類の多くは、犬とネコ、トラックと自動車のように、固有の視覚的曖昧性に起因しており、フレームワーク自体の失敗によるものではなかった。
• クラスの複雑さが異なるデータセットに対しても、フレームワークは競争力ある性能を維持した。これは、教師なし設定において一般化能力が確立されていることを確認した。