[論文レビュー] Forward Thinking: Building and Training Neural Networks One Layer at a Time

Chris Hettinger, Tanner Christensen+4 more|arXiv (Cornell University)|Jun 8, 2017

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 30

ひとこと要約

この論文は、バックプロパゲーションを用いずに深層ニューラルネットワークを訓練するための新しいフレームワーク「フォワード・シンキング」を紹介する。各層を順次訓練し、入力を各訓練済み層を通過させることで、次の層用の新たな変換済みデータを生成する。この手法は、畳み込みニューラルネットワークを用いてMNISTで99.72%の精度を達成し、状態の最良（SOTA）性能を示した。バックプロパゲーションと比較して著しく訓練時間を短縮した。グリーディで層ごとの訓練が、単独の手法として効率的かつ非常に有効であることが示された。

ABSTRACT

We present a general framework for training deep neural networks without backpropagation. This substantially decreases training time and also allows for construction of deep networks with many sorts of learners, including networks whose layers are defined by functions that are not easily differentiated, like decision trees. The main idea is that layers can be trained one at a time, and once they are trained, the input data are mapped forward through the layer to create a new learning problem. The process is repeated, transforming the data through multiple layers, one at a time, rendering a new data set, which is expected to be better behaved, and on which a final output layer can achieve good performance. We call this forward thinking and demonstrate a proof of concept by achieving state-of-the-art accuracy on the MNIST dataset for convolutional neural networks. We also provide a general mathematical formulation of forward thinking that allows for other types of deep learning problems to be considered.

研究の動機と目的

• 深層ニューラルネットワークを訓練するスケーラブルでバックプロパゲーションフリーのフレームワークを開発すること。
• 非微分可能学習器（例：決定木、ランダムフォレスト）を深層ネットワークアーキテクチャに組み込むことを可能にすること。
• 複数層にわたる勾配計算の必要性を排除することで、訓練時間を短縮すること。
• グリーディで逐次的な層ごとの訓練が、従来のバックプロパゲーションと同等またはそれ以上の性能を達成できることを示すこと。
• 標準的なニューラルネットワークにとどまらず、さまざまな深層学習問題に適用可能な一般的な数学的定式化を提供すること。

提案手法

• 以前の層の勾配を必要とせず、標準的な最適化手法を用いて、元の入力データまたは変換済み入力データ上で各層を個別に訓練する。
• 層を訓練した後、すべての訓練入力をその層を通過させ、次の層用の新たな変換済み特徴空間を生成する。
• 繰り返し反復する：変換済みデータ上で新しい層を訓練し、再び前方へマッピングすることで、次第に洗練された表現の系列を生成する。
• 最終的な変換済みデータを用いて最終出力層を訓練し、元のタスクで高い性能を達成する。
• バックプロパゲーションを回避することで、決定木などの非微分可能モデルを含む多様なタイプの学習器を各層に組み込むことができる。
• ハイパーパrameterを最適化するように調整し、全結合および畳み込みニューラルネットワークアーキテクチャを用いてフレームワークを実装する。

実験結果

リサーチクエスチョン

• RQ1 層を1つずつ順次訓練することで、バックプロパゲーションを用いずに深層ニューラルネットワークを効果的に訓練できるか？
• RQ2 このフォワード・シンキングアプローチは、従来のバックプロパゲーションと同等またはそれ以上の性能を達成できるか？
• RQ3 隠れ層に決定木のような非微分可能学習器を用いても、この手法は依然として有効であるか？
• RQ4 実際の実装において、フォワード・シンキングの訓練速度は標準的なバックプロパゲーションと比べてどの程度か？
• RQ5 このフレームワークは、畳み込みネットワークを含むさまざまな深層学習アーキテクチャに一般化可能か？

主な発見

• フォワード・シンキング手法は、畳み込みニューラルネットワークを用いてMNISTデータセットで99.72%のテスト精度を達成し、論文発表時時点で5番目の最高成績を記録した。
• 全結合型の深層ニューラルネットワークをフォワード・シンキングで訓練した場合、MNISTで98.89%の精度に達し、従来の訓練手法と同等の性能を示した。
• フォワード・シンキングの訓練はバックプロパゲーションよりも著しく高速であった：同じハードウェア上での1エポックあたり24秒対53秒。
• フォワード・シンキングネットワークは、バックプロパゲーションで訓練されたネットワークよりも早く高いテスト精度に到達し、両方の訓練およびテスト精度がより優れた水準に安定した。
• この手法は過学習に対して頑健であり、事前に訓練された層の再訓練を必要としなかった。これは、事前学習手法とは対照的である。
• このフレームワークは一般化可能であり、非微分可能学習器への応用も可能であることが、コンpanionペーパーにおけるディープランダムフォレストの研究で示された。