[論文レビュー] Rapid Feature Learning with Stacked Linear Denoisers

Zhixiang Xu, Kilian Q. Weinberger+1 more|arXiv (Cornell University)|May 5, 2011

Generative Adversarial Networks and Image Synthesis参考文献 22被引用数 3

ひとこと要約

本論文は、スタックド線形ノイズ除去オートエンコーダーを用いた、非教師あり事前学習のための高速で閉形式の手法であるSLIDEを提案する。この手法は、SdAと比較して数秒で最先端のSVM分類性能を達成し、SdAの何千倍も高速である。4つのベンチマークのうち3つにおいて、SdAおよびディープニューラルネットワークを上回る性能を発揮する。

ABSTRACT

We investigate unsupervised pre-training of deep architectures as feature generators for "shallow" classifiers. Stacked Denoising Autoencoders (SdA), when used as feature pre-processing tools for SVM classification, can lead to significant improvements in accuracy - however, at the price of a substantial increase in computational cost. In this paper we create a simple algorithm which mimics the layer by layer training of SdAs. However, in contrast to SdAs, our algorithm requires no training through gradient descent as the parameters can be computed in closed-form. It can be implemented in less than 20 lines of MATLABTMand reduces the computation time from several hours to mere seconds. We show that our feature transformation reliably improves the results of SVM classification significantly on all our data sets - often outperforming SdAs and even deep neural networks in three out of four deep learning benchmarks.

研究の動機と目的

• ディープラーニングにおける非教師あり事前学習の計算コストの高さ、特にスタックドノイズ除去オートエンコーダー（SdA）の分野を解決すること。
• 勾配ベースの最適化を必要とせず、反復的でない高速でスケーラブルなSdAの代替手法を開発すること。
• エンドツーエンドのバックプロパゲーションを回避し、SVMのような浅い分類器に効率的な特徴を生成しながら性能を損なわないようにすること。
• 凸的で閉形式のアプローチが、標準ベンチマークにおいてディープラーニングモデルと同等またはそれ以上の精度を達成できることを示すこと。

提案手法

• 入力をノイズで汚して元の入力を線形回帰により再構築する1層の線形ノイズ除去オートエンコーダーをブロックとして用いる。
• 勾配降下法やハイパーパrameterチューニングを不要とする行列の逆行列を用いた閉形式解を、オートエンコーダーのパラメータに適用する。
• 複数のノイズ除去オートエンコーダーを段階的にスタックし、1つの出力を次の入力として使用することで、SdAと同様に階層的特徴抽出を模倣する。
• 最終層の出力をSVM分類の入力特徴として使用し、エンドツーエンドのバックプロパゲーションを回避する。
• ノイズレベルとスタックされた層の数の2つのハイパーパrameterのみを制御することで、設定を簡素化する。
• MATLABで20行未満のコードで全アルゴリズムを実装し、ほぼ即時の特徴変換を実現する。

実験結果

リサーチクエスチョン

• RQ1 反復的でない閉形式手法が、スタックドノイズ除去オートエンコーダーの特徴抽出能力を再現できるか？
• RQ2 このような手法が、標準ベンチマークにおいてSdAおよびディープニューラルネットワークと同等またはそれ以上の分類精度を達成できるか？
• RQ3 性能を維持または向上させながら、事前学習時間を著しく短縮できるか？
• RQ4 この手法は、画像データや構造化データを含む多様なデータセットに一般化できるか？

主な発見

• SLIDEは、すべてのデータセットでSdA（GPU上）の数時間にのぼる事前学習時間を10秒未塔に短縮し、最大4,100倍の高速化を達成した。
• 4つのベンチマークデータセットにおいて、SLIDE-SVMは3つのケースでSdA-SVMを上回り、MNISTでは同等の性能を示した。Rect-ImagesおよびConvexで最も低い誤差率を記録した。
• Rect-Imagesでは11.93%の誤差率を達成し、SdA（12.18%）およびPCA（18.13%）を上回った。Convexでは18.41%の誤差率を記録し、SdA（18.13%）およびPCA（18.13%）を上回った。
• SLIDEは、元の特徴（Raw-SVM）よりも一貫して性能を向上させ、多くのデータセットでホワイトニングやPCAを上回った。
• この手法の単純さと高速性から、複雑なディープラーニングの事前学習パイプラインに対する実用的で高性能な代替手段として有効である。
• SLIDEの性能は多様なデータタイプにわたり一貫しており、強力な一般化能力と前処理ツールとしての実用性を示唆している。