[論文レビュー] A Geometric Framework for Convolutional Neural Networks

Anthony L. Caterini, Dong Eui Chang|arXiv (Cornell University)|Aug 15, 2016

Model Reduction and Neural Networks参考文献 4被引用数 6

ひとこと要約

この論文は、内積空間構造を用いて勾配降下法を定式化することで、標準的および高次損失関数の両方の勾配をコンactかつ数学的に厳密に計算できる、座標に依存しない幾何的枠組みを、畳み込みニューラルネットワーク（CNNs）に導入する。このアプローチにより、バックプロパゲーションおよび最適化への直接的応用が可能となる包括的かつ表記を標準化した基盤が提供される。

ABSTRACT

In this paper, a geometric framework for neural networks is proposed. This framework uses the inner product space structure underlying the parameter set to perform gradient descent not in a component-based form, but in a coordinate-free manner. Convolutional neural networks are described in this framework in a compact form, with the gradients of standard --- and higher-order --- loss functions calculated for each layer of the network. This approach can be applied to other network structures and provides a basis on which to create new networks.

研究の動機と目的

• 内積空間構造を用いて、座標に依存しない幾何的枠組みを構築し、深層ニューラルネットワークの表現と最適化を可能にする。
• 既存の文献における不整合を解消するため、深層学習で用いられる表記を統一・標準化する。
• CNNにおける標準的および高次損失関数の勾配について、明示的かつ座標に依存しない表現を導出する。
• 成分ごとの座標表現に依存せずに、パrameter空間における直接的な勾配降下を可能にする。
• RNN、オートエンコーダ、ボルツマンマシンなどの他のネットワークアーキテクチャへの拡張が可能な基盤を提供する。

提案手法

• 各層を内積空間間のベクトル値写像としてモデル化し、パラメータと活性化をこれらの空間の要素として扱う。
• 座標に依存しない微分を用いて勾配を計算する：微分 Df(x;θ) 及びその随伴 D*f(x;θ) を用い、内積を用いて方向微分と随伴を定義する。
• 2次微分 D²f や D∇f は双線形写像を用いて定義され、2次最適化における対称性と一貫性が保証される。
• テンソル積および縮約演算（例：↷, ⇝）を用いて、層間変換および誤差の逆伝播をコンactかつ幾何学的に表現する。
• バックプロパゲーションは随伴写像を用いて形式化される：例えば e_y = D*ω_{t+1}(X^{t+1})·(X^{L+1}−y) により、効率的な誤差信号の伝搬が可能になる。
• 随伴および縮約演算を用いて、重み W^t およびバイアス B^t の明示的更新則を導出する。標準的および高次損失関数の両方のケースに対応する別々の式が提示される。

実験結果

リサーチクエスチョン

• RQ1 CNNにおける勾配降下を、内積空間構造を用いて座標に依存しない形でどのように形式化できるか？
• RQ2 深層ネットワークにおける高次損失関数の勾配の座標に依存しない表現は何か？
• RQ3 層の微分の随伴が、ネットワーク全体にわたり誤差信号をどのように逆方向に伝搬させるか？
• RQ4 表記を標準化し、他のネットワークタイプへの拡張を可能にする包括的な幾何的枠組みを構築できるか？
• RQ5 2次微分およびその随伴は、CNNにおける高次損失関数の最適化にどのように寄与するか？

主な発見

• 論文は、随伴写像および内積構造を用いた座標に依存しないバックプロパゲーションの定式化に成功し、コンパクトな勾配計算を可能にした。
• テンソル縮約および随伴演算（例：∇_{W^t}J および ∇_{W^t}R）を用いて、標準的および高次損失関数の両方の明示的勾配表現が導出された。
• アルゴリズム3.1（標準的）およびアルゴリズム3.2（高次）により、W^t および B^t に対する明確な更新則を伴う1ステップ勾配降下更新が可能になった。
• 随伴写像 D*f および ∇*f の使用により、誤差信号が数学的に一貫性がありかつ効率的に逆方向に伝搬される。
• 現在の深層学習文献における表記の不整合を解消する表記標準を提供し、明確さと再現性を高めた。
• RNN、オートエンコーダ、ディープボルツマンマシンなど、他のアーキテクチャへの拡張が可能であることが結論で示された。