[論文レビュー] A PCA-Based Convolutional Network

Yanhai Gan, Jun Liu+2 more|arXiv (Cornell University)|May 14, 2015

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 17

ひとこと要約

本論文は、バックプロパゲーションを用いずに畳み込みフィルタを学習するPCA（主成分分析）に基づく畳み込みネットワーク（PCN）を提案する。PCAを用いてフィルタを学習し、特徴抽出段階をスタックし、プーリングを適用した後、非線形出力段階でバイナリハッシングを施すことで、手書き数字、顔、テクスチャ認識タスクにおいて競争力ある性能を達成する。PCANet や従来のCNNと比較して、精度と効率性に優れ、テクスチャデータセットで99.89%の精度を達成し、トレーニング時間が著しく短縮される。

ABSTRACT

In this paper, we propose a novel unsupervised deep learning model, called PCA-based Convolutional Network (PCN). The architecture of PCN is composed of several feature extraction stages and a nonlinear output stage. Particularly, each feature extraction stage includes two layers: a convolutional layer and a feature pooling layer. In the convolutional layer, the filter banks are simply learned by PCA. In the nonlinear output stage, binary hashing is applied. For the higher convolutional layers, the filter banks are learned from the feature maps that were obtained in the previous stage. To test PCN, we conducted extensive experiments on some challenging tasks, including handwritten digits recognition, face recognition and texture classification. The results show that PCN performs competitive with or even better than state-of-the-art deep learning models. More importantly, since there is no back propagation for supervised finetuning, PCN is much more efficient than existing deep networks.

研究の動機と目的

• バックプロパゲーションや教師あり微調整を回避する効率的で教師なしの深層学習モデルの開発。
• 勾配ベースの学習をPCAに基づくフィルタ学習に置き換えることで、特徴学習の効率性とスケーラビリティを向上。
• 手書き数字、顔、テクスチャ認識といった困難なビジョンタスクにおいて、競争力ある分類性能を達成すること。
• 特にデータ量が少ない状況下で、標準的なディープネットワークやPCANetと比較して、計算コストとトレーニング時間を削減すること。
• スタックされた層を介してPCAフィルタをかけたプールド特徴マップを用いた階層的特徴抽象化の有効性を検証すること。

提案手法

• ネットワークアーキテクチャは、PCAで学習されたフィルタを備えた畳み込み層とプール層を含む複数のスタックされた特徴抽出段階から構成される。
• 最初の段階では、局所的な画像パッチの共分散行列の固有ベクトルを用いて、入力画像パッチから直接フィルタをPCAで学習する。
• より深い層では、前の段階で生成された特徴マップからフィルタを学習するため、階層的特徴抽象化が可能になる。
• 特徴マップは、2×2のボックスカー平均プールフィルタを2×2のストライドで適用することで次元削減される。
• 最終出力段階では、プールドされた特徴マップにバイナリハッシングを適用し、ヒストグラム統計を用いてコンactな非線形表現を形成する。
• 最終的な特徴ベクトルは、バックプロパゲーションや教師あり微調整を必要としない線形SVM分類器に供給される。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションや教師あり微調整を一切用いずに、PCAに基づくフィルタ学習が深層畳み込みアーキテクチャで競争力ある性能を達成できるか？
• RQ2 限られたラベル付きデータでテクスチャ分類を実行した場合、PCNの性能はPCANet や従来のCNNといった最先端のディープネットワークと比べてどうなるか？
• RQ3 バックプロパゲーションの欠如が、ディープネットワークのトレーニング効率と計算コストの削減にどの程度寄与するか？
• RQ4 連続するPCAフィルタ学習とプールを用いた階層的特徴抽象化は、複雑なテクスチャや顔認識タスクにおいてどの程度有効か？
• RQ5 出力段階でバイナリハッシングとヒストグラム統計を用いることで、次元削減を実現しつつも、判別性の高い情報を保持できるか？

主な発見

• PCNは、手順的テクスチャ分類データセットで99.89%の精度を達成し、同じ条件下でPCANetの99.62%を上回った。
• PCNのトレーニング時間は251.80秒であり、PCANetの16,407.50秒と比較して65倍速く、顕著な効率的優位性を示した。
• PCNの1サンプルあたりのテスト時間は0.1136秒であり、PCANetの3.14秒と比較して、推論速度に顕著な優位性を示した。
• 10時間にわたり50,000イテレーションを実行した標準的なCNNは、データ量が不足しているため深刻な過学習を示し、精度はたったの43.2%にとどまったが、PCNはこの問題を回避した。
• フィルタの可視化分析では、第1段階のフィルタが方向依存の特徴を検出しているのに対し、第2段階のフィルタが大規模なパターンと微細なパターンの両方を捉えていることがわかった。
• モデルの性能は設定に強く依存しており、最適な結果はパッチサイズ7×7、サンプリング間隔3、およびフィルタ数L₁=16、L₂=38の組み合わせで得られた。