[論文レビュー] A Novel Representation of Neural Networks

Anthony L. Caterini, Dong Eui Chang|arXiv (Cornell University)|Oct 5, 2016

Gaussian Processes and Bayesian Inference参考文献 2被引用数 3

ひとこと要約

本論文は、パラメータをスカラー成分ではなく、全体としてのエンティティとして扱う座標に依存しない内積空間に基づく数学的枠組みを、深層ニューラルネットワーク（DNN）に導入する。アドジョイント、双線形写像、およびチェインルールを抽象的内積空間で活用することで、マルチレイヤーパーセプトロンおよびディープオートエンコーダーにおける誤差逆伝搬法と勾配降下法の統一的かつコン act な導出が可能となり、DNN最適化の理論的基盤が著しく簡素化される。

ABSTRACT

Deep Neural Networks (DNNs) have become very popular for prediction in many areas. Their strength is in representation with a high number of parameters that are commonly learned via gradient descent or similar optimization methods. However, the representation is non-standardized, and the gradient calculation methods are often performed using component-based approaches that break parameters down into scalar units, instead of considering the parameters as whole entities. In this work, these problems are addressed. Standard notation is used to represent DNNs in a compact framework. Gradients of DNN loss functions are calculated directly over the inner product space on which the parameters are defined. This framework is general and is applied to two common network types: the Multilayer Perceptron and the Deep Autoencoder.

研究の動機と目的

• 深層学習における標準化された数学的表記の欠如が理論的整合性と組み合わせ可能性を損なう問題に対処すること。
• 誤差逆伝搬における成分ごとの勾配計算の制限を克服し、パラメータを内積空間内の全体的エンティティとして扱うことで、その枠組みを構築すること。
• MLP やオートエンコーダーのような多様な DNN アーキテクチャに適用可能な一般的で、コン act かつ座標に依存しない数学的枠組みを開発すること。
• ベクトル化や成分分解を回避することで、勾配および最適化アルゴリズムの導出をより洗練され、解釈可能なものにすること。
• このフレームワークを CNN や RNN などの他のアーキテクチャへ拡張する基盤を築くこと。

提案手法

• 抽象的内積空間と線形写像を用いて DNN を形式化し、パラメータをこれらの空間の要素として定義する。
• 内積空間における標準的方向微分を用いて導関数を定義し、成分分解を回避する。
• アドジョイント作用素とフック演算子（左/右）を用いて、導関数およびその転置を洗練された形で表現する。
• 座標に依存しない形でチェインルールを適用し、行列のフラットネーションを明示的に行わずに誤差逆伝搬を導出する。
• アドジョイントに基づく勾配計算を用いて、パラメータ空間上で勾配降下の更新を直接導出する。
• このフレームワークをマルチレイヤーパーセプトロンおよびディープオートエンコーダーに適用し、明示的な勾配計算を伴う高階の損失関数も含む。

実験結果

リサーチクエスチョン

• RQ1 座標に依存しない内積空間に基づく統一的数学的枠組みを用いて、深層ニューラルネットワークをどのように形式的に表現できるか？
• RQ2 アドジョイント作用素とフック演算子が誤差逆伝搬の導出をどのように簡素化するか？
• RQ3 行列をベクトルに分解せずに、パラメータ空間上で勾配降下法をどのように定式化できるか？
• RQ4 このフレームワークは、高階の損失関数や正則化項を扱えるように拡張可能か？
• RQ5 従来の成分ベースの方法と比較して、このアプローチは DNN 最適化の理論的明確性と一般性をどのように向上させるか？

主な発見

• このフレームワークは、パラメータを内積空間の要素として扱うことで、座標に依存しない誤差逆伝搬の導出を可能にし、ベクトル化の必要性を排除する。
• 損失関数の勾配は、アドジョイント作用素を用いてパラメータ空間上で直接計算され、より自然でコン act な定式化が実現される。
• この方法は、マルチレイヤーパーセプトロンおよびディープオートエンコーダーの両方に対して、同一の抽象的形式的枠組みを用いて勾配降下の更新を成功裏に導出する。
• 2階微分とアドジョイントに基づく勾配計算を用いることで、2階項を含む高階の損失関数も一貫して取り扱える。
• 同じ基本的な数学的構造を活用することで、このアプローチは CNN や RNN などの他のアーキテクチャへの拡張に明確な道筋を提供する。
• このフレームワークは、深層学習研究における理論的透明性を高め、表記の曖昧さを低減する。