[論文レビュー] Layer-wise training of deep networks using kernel similarity

Mandar Kulkarni, Shirish Karande|arXiv (Cornell University)|Mar 21, 2017

Face and Expression Recognition参考文献 10被引用数 16

ひとこと要約

この論文では、特徴表現の向上を目的として、カーネル類似度最適化を用いた階層的訓練手法を提案する。繰り返し変換行列を学習することで、層ごとのカーネル行列を理想カーネル（クラス内類似度が1、クラス間類似度が0）に次第に近づける。このアプローチにより、バックプロパゲーションで訓練されたDNNと同等の分類精度を達成するとともに、パラメータの小さな段階的チューニングによって過学習を低減する。

ABSTRACT

Deep learning has shown promising results in many machine learning applications. The hierarchical feature representation built by deep networks enable compact and precise encoding of the data. A kernel analysis of the trained deep networks demonstrated that with deeper layers, more simple and more accurate data representations are obtained. In this paper, we propose an approach for layer-wise training of a deep network for the supervised classification task. A transformation matrix of each layer is obtained by solving an optimization aimed at a better representation where a subsequent layer builds its representation on the top of the features produced by a previous layer. We compared the performance of our approach with a DNN trained using back-propagation which has same architecture as ours. Experimental results on the real image datasets demonstrate efficacy of our approach. We also performed kernel analysis of layer representations to validate the claim of better feature encoding.

研究の動機と目的

• エンドツーエンドのバックプロパゲーションを用いずに階層的特徴表現を向上させる、新たな階層的訓練手法の開発。
• 各層を順次訓練することで、より少ないパラメータで過学習を低減し、カーネル類似度を最適化の目的関数として活用する。
• カーネルPCA分析を通じて、より深い層が単純でより正確な表現を生成することを検証する。
• 標準的な画像データセットにおいて、提案手法がエンドツーエンドのバックプロパゲーションで訓練されたDNNと同等の分類性能を達成することを示す。

提案手法

• 各層に対して、層のカーネル行列を理想カーネル行列に次第に近づける変換行列を学習する最適化問題を定式化する。
• 理想カーネル行列は、同じクラスのペairには値1を、異なるクラスのペアには値0を割り当て、カーネル類似度最適化のターゲットとして機能する。
• 現在の層のカーネル行列と理想カーネル行列の差を最小化するように変換行列を最適化し、類似度計算にはRBFカーネルを用いる。
• 変換行列を1層分学習した後、特徴は次の層に渡され、同じカーネル類似度最適化の目的関数を用いて独立に訓練される。
• 各層の表現の複雑さと正確さを分析するために、カーネルPCAを用い、主要固有ベクトルへのエネルギー集中度を測定する。
• 分類性能は、最終層の特徴に全結合層（FC100）とソフトマックスを訓練して評価し、標準DNNとの結果を比較する。

実験結果

リサーチクエスチョン

• RQ1 カーネル類似度最適化を用いた階層的訓練は、エンドツーエンドのバックプロパゲーションで得られるものと同等の効果的な特徴表現を生成できるか？
• RQ2 層の深さが増すに従い、カーネルPCAによるエネルギー集中度で測定したように、表現が次第に単純で正確になるか？
• RQ3 特に限られた学習データの下で、標準DNN訓練と比較して、階層的アプローチは過学習を低減できるか？
• RQ4 提案手法の分類精度は、標準的な画像ベンチマークで、同一アーキテクチャのDNNと比較してどうなるか？

主な発見

• 提案された階層的訓練手法は、MNISTおよびCIFAR-10データセットの両方で、バックプロパゲーションで訓練されたDNNと同等のテスト分類精度を達成した。
• 限られた学習データを用いたCIFAR-10では、提案手法がDNNベースラインを上回った。これは、各層ごとのパラメータチューニングが少ないので、過学習が低減されたことを示している。
• カーネルPCA分析により、層が深くなるにつれて、エネルギーがより少ない主要固有ベクトルに集中することが確認され、より単純で正確な表現であることが裏付けられた。
• 学習されたフィルタの可視化により、最初の層に豊富で判別力のある特徴が現れ、PMLPのような事前学習済みモデルの特徴に類似していた。
• この手法は、モジュール式の深層学習アプローチの実現可能性を示しており、性能向上が保証される条件下で、層を順次追加可能である。
• 最適化プロセスにより、各層のカーネル行列が理想カーネルにうまく近づいたことが確認され、特徴表現学習の核心仮説が妥当であることが裏付けられた。