[論文レビュー] Greedy Shallow Networks: A New Approach for Constructing and Training Neural Networks

Anton Dereventsov, Armenak Petrosyan+1 more|arXiv (Cornell University)|May 1, 2019

Sparse and Compressive Sensing Techniques参考文献 40被引用数 4

ひとこと要約

本稿では、ReLU活性化関数とリッジレットに基づく積分表現を用いた貪欲な浅いネットワーク手法を提案し、誤差逆伝搬法を用いずに効率的な1層隠れ層ネットワークを構築する。リッジレット変換を用いて辞書のサイズを低減することで、神経細胞の高速かつ実行可能な貪欲選択が可能となり、初期化としてまたは完全に訓練されたモデルとして有効なアーキテクチャが得られる。数値結果により、従来の手法に優る性能が示された。

ABSTRACT

We present a greedy-based approach to construct an efficient single hidden layer neural network with the ReLU activation that approximates a target function. In our approach we obtain a shallow network by utilizing a greedy algorithm with the prescribed dictionary provided by the available training data and a set of possible inner weights. To facilitate the greedy selection process we employ an integral representation of the network, based on the ridgelet transform, that significantly reduces the cardinality of the dictionary and hence promotes feasibility of the greedy selection. Our approach allows for the construction of efficient architectures which can be treated either as improved initializations to be used in place of random-based alternatives, or as fully-trained networks in certain cases, thus potentially nullifying the need for backpropagation training. Numerical experiments demonstrate the tenability of the proposed concept and its advantages compared to the conventional techniques for selecting architectures and initializations for neural networks.

研究の動機と目的

• 誤差逆伝搬法を用いない、効率的な1層隠れ層ニューラルネットワークを構築するための手法を開発すること。
• 候補となる神経細胞の辞書のサイズを縮小することで、ニューラルアーキテクチャ選択の計算複雑度を低減すること。
• リッジレット変換による積分表現を活用し、より現実的な貪欲最適化を可能とすること。
• 反復的学習を必要とせず、初期化としてまたは完全に訓練されたモデルとして直接利用可能なアーキテクチャを構築すること。
• ランダムまたはヒューリスティックな初期化手法と比較して、優れた性能を示すこと。

提案手法

• 訓練データと事前に定義された内部重みから導出された辞書から神経細胞を貪欲に選択するアルゴリズムを用いる。
• リッジレット変換に基づく積分表現を用いて、辞書の実効的サイズを低減する。
• リッジレット変換を適用し、ネットワークの関数空間をスパース表現にマッピングすることで、選択の効率性を向上させる。
• 積分表現に基づいたフレームワークに従い、残差誤差の最小化を基準に神経細胞を反復的に選択する。
• 誤差逆伝搬法を避けるために、解析的に取り扱いやすい空間における貪欲選択に依存し、浅いネットワークを構築する。
• 反復的最適化に依存せず、縮小された解析的空間における貪欲選択に依存することで、誤差逆伝搬法を回避する。

実験結果

リサーチクエスチョン

• RQ1 縮小された神経細胞の辞書上で貪欲な選択プロセスを実行することで、誤差逆伝搬法を用いずに効果的な浅いニューラルネットワークが得られるか？
• RQ2 リッジレットに基づく積分表現は、辞書ベースのネットワーク構築における計算負担をどの程度低減するか？
• RQ3 得られたネットワークは、ディープラーニングにおけるランダムまたはヒューリスティックな初期化の代替として実用的か？
• RQ4 貪欲な浅いネットワークの性能は、標準的な学習アプローチと比較して、精度と効率の面で優れているか？
• RQ5 どのような条件下で構築されたネットワークを完全に訓練されたモデルとして使用できるか？

主な発見

• リッジレットに基づく積分表現により、辞書の基数が顕著に低減され、貪欲選択が計算的に実行可能になる。
• 提案手法により、誤差逆伝搬法を必要としない浅いネットワークが構築され、競争力のある性能を達成する。
• 得られたアーキテクチャは、効果的な初期化として、または一部の状況では完全に訓練されたモデルとして利用可能である。
• 数値実験により、本手法の実行可能性が確認され、従来のアーキテクチャ選択および初期化手法に優る性能が示された。
• 標準的なディープラーニングパイプラインと比較して、訓練のオーバーヘッドを低減し、ネットワーク構築を高速化できる。
• 反復的最適化への依存を低減する可能性を示しており、特に訓練コストが高価な状況において有望である。