[論文レビュー] Learning Sparse Feature Representations using Probabilistic Quadtrees and Deep Belief Nets

Saikat Basu, Manohar Karki+4 more|arXiv (Cornell University)|Sep 11, 2015

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、確率的クアッドツリーとディープベルーフネットワーク（DBN）を組み合わせた新規フレームワークを提案し、手書き数字分類のためのスパース特徴表現を学習する。深さ優先探索を用いて確率的クアッドツリーを構築し、スパースで階層的な特徴を生成し、それをDBNに供給することで、MNISTでは従来のDBNと比較して最大25%の相対的性能向上を達成し、ノイズありバージョン（n-MNIST）では最大36%の向上を示し、ノイズに強く、識別性能が向上したことを示している。

ABSTRACT

Learning sparse feature representations is a useful instrument for solving an unsupervised learning problem. In this paper, we present three labeled handwritten digit datasets, collectively called n-MNIST. Then, we propose a novel framework for the classification of handwritten digits that learns sparse representations using probabilistic quadtrees and Deep Belief Nets. On the MNIST and n-MNIST datasets, our framework shows promising results and significantly outperforms traditional Deep Belief Networks.

研究の動機と目的

• ノイズ環境下でも安定した教師なし特徴学習フレームワークを、手書き数字認識に向け開発すること。
• 加法性ホワイトガウスノイズ、モーションブラー、コントラスト低下を含む3つの新しいノイズ付き手書き数字データセット（n-MNIST）を導入し、ベンチマーク用に提供すること。
• 確率的クアッドツリーを用いてスパースで階層的な表現を学習することで、ディープベルーフネットワークの識別力を向上させること。
• 構造的およびテクスチャ的情報を保持しつつ、統計的に妥当な方法で画像データの次元を削減すること。

提案手法

• 画像ブロックを均一性基準（閾値τ = 0.27）に基づき再帰的に分割することで確率的クアッドツリーを構築し、最大値と最小値の差がτを超えるブロックは4つのサブブロックに分割される。
• クアッドツリーの各ノードは、そのブロックが分割されたか（1）されなかったか（0）を表す二値の確率変数としてモデル化され、データセット内のいずれかのサンプルが均一性テストに合格しなければ分割とみなされる。
• 学習済みクアッドツリー構造を深さ優先探索で走査することで、各画像の線形的かつスパースなベクトル表現が生成され、階層的な空間的および強度統計が符号化される。
• これらのスパースベクトルをディープベルーフネットワーク（DBN）に供給し、分類を実行する。DBNは、制限付きボルツマンマシン（RBM）を用いて段階的に事前学習し、誤差逆伝播法による微調整が施される。
• RBMの学習にはコントラストダイバージェンスを用い、可視ユニットの対数尤度を最大化する。条件付き確率はシグモイド関数を用いて計算される。
• 本フレームワークはMNISTおよび3つのn-MNISTバリエーションで評価され、複数のネットワークの深さと幅の設定において、標準的なDBNアーキテクチャと性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 確率的クアッドツリーは、手書き数字データセットの分類精度を向上させるために、効果的にスパースで階層的な表現を学習できるか？
• RQ2 本フレームワークは、n-MNIST（ノイズありMNIST）バージョンにおいて、標準的なDBNと比較してどの程度優れた性能を示すか？
• RQ3 クアッドツリーから導出されるスパース表現は、ディープベルーフネットワークの識別力をどの程度向上させるか？
• RQ4 クアッドツリーに基づく特徴抽出とDBNの統合は、未知のデータに対する収束速度の向上または一般化性能の向上をもたらすか？

主な発見

• 450-450アーキテクチャを用いたMNISTデータセットでは、本フレームワークが1.38%のテスト誤差を達成し、最良の従来のDBNと比較して約25%の相対的改善を示した。
• 加法性ホワイトガウスノイズを含むn-MNISTデータセットでは、500-500アーキテクチャでテスト誤差が9.93%に低下し、標準的なDBNと比較して約36%の相対的改善を達成した。
• モーションブラーによる劣化に対しては、500-500アーキテクチャでテスト誤差が7.84%にまで低下し、ベースラインDBNと比較して約26%の相対的改善を示した。
• AWGNとコントラスト低下が併存するバージョンでは、450-450アーキテクチャでテスト誤差が8.36%にまで低下し、標準的なDBNと比較して約12%の相対的改善を達成した。
• 本フレームワークは、すべてのネットワークアーキテクチャおよびすべてのn-MNISTバリエーションにおいて、標準的なDBNを一貫して上回り、多様な画像劣化に対して高い耐性を示した。
• 確率的クアッドツリーの使用により、重要なテクスチャおよび構造的特徴を保持しつつ、効果的な次元削減が可能となり、より識別力の高い表現が得られた。