[論文レビュー] Understanding Geometry of Encoder-Decoder CNNs

Jong Chul Ye, Woon Kyoung Sung|arXiv (Cornell University)|Jan 22, 2019

Neural Networks and Applications被引用数 23

ひとこと要約

本論文は、組み合わせ的畳み込みフレームを用いて、エンコーダデコーダ畳み込みニューラルネットワーク（CNN）と非線形フレーム表現を統一的な理論枠組みで結びつける。深さに伴う指数的表現力の解明に加え、スキップ接続が最適化の流れを滑らかにし一般化性能を向上させることを示した。また、リプシッツ定数は表現力を制限しないことが判明し、MRI や CT 再構成といった逆問題においてこれらのネットワークが優れた性能を発揮する背景にある幾何的洞察が得られた。

ABSTRACT

Encoder-decoder networks using convolutional neural network (CNN) architecture have been extensively used in deep learning literatures thanks to its excellent performance for various inverse problems. However, it is still difficult to obtain coherent geometric view why such an architecture gives the desired performance. Inspired by recent theoretical understanding on generalizability, expressivity and optimization landscape of neural networks, as well as the theory of convolutional framelets, here we provide a unified theoretical framework that leads to a better understanding of geometry of encoder-decoder CNNs. Our unified mathematical framework shows that encoder-decoder CNN architecture is closely related to nonlinear basis representation using combinatorial convolution frames, whose expressibility increases exponentially with the network depth. We also demonstrate the importance of skipped connection in terms of expressibility, and optimization landscape.

研究の動機と目的

• MRI や CT 再構成といった逆問題においてエンコーダデコーダ CNN が優れた性能を発揮する背景を幾何学的に理解すること。
• エンコーダデコーダネットワークを組み合わせ的空間可変畳み込みを伴う深層畳み込みフレームレットとして定式化することで、深層学習理論と信号処理を統合すること。
• 微分トポロジーとフレーム理論の理論的ツールを用いて、これらのネットワークの表現力、一般化性能、最適化の流れを分析すること。
• 特に ReLU 非線形性下で、スキップ接続が最適化の流れと表現力をどのように向上させるかを明らかにすること。
• ReLU を用いたアーキテクチャにおける組み合わせ的フレーム選択と関連づけ、深層ネットワークの指数的表現力の謎を解明すること。

提案手法

• 微分トポロジーに裏打ちされた、滑らかな多様体間の商写像としての高次元埋め込みに基づく、エンコーダデコーダ CNN の形式的定式化。
• ReLU を用いた空間可変畳み込みから導かれる組み合わせ的フレームを用いて、ネットワークを深層畳み込みフレームレットとしてモデル化。
• 一般化性能に影響を与えるリプシッツ条件を明示的に導出。この条件はリプシッツ定数とは独立しており、一般化性能がリプシッツ正則化によって制限されないことを示した。
• スキップ接続を有する ReLU による活性化ネットワークに対して、ジャコビアンに基づく新規解析手法を導入。予測が真値と一致する場合にのみゼロ損失が達成されることを証明。
• 特徴行列と中間表現のランクに関する仮定を用いて、良性最適化の流れの条件を確立。
• 先行研究の解析的ネットワーク分析における仮定を緩和し、スキップ接続付きの ReLU を用いたエンコーダデコーダネットワークへの最適化結果の拡張を実現。

実験結果

リサーチクエスチョン

• RQ1 エンコーダデコーダ CNN のアーキテクチャは、信号表現と再構成に関して幾何学的にどのように関係しているか？
• RQ2 深層エンコーダデコーダネットワークに観察される指数的表現力の起源は何か？
• RQ3 なぜスキップ接続が ReLU を用いたエンコーダデコーダネットワークの最適化の流れを顕著に改善するのか？
• RQ4 これらのネットワークにおける一般化能力は、リプシッツ制御から分離可能か？
• RQ5 エンコーダデコーダ CNN の最適化の流れが良性となる条件は何か？

主な発見

• 過パラメータ化された特徴を有するエンコーダデコーダ CNN は、高次元埋め込みに続く商写像として、滑らかな多様体間の写像を近似する。
• ReLU を用いた畳み込み層における組み合わせ的フレーム選択により、ネットワークの表現力は深さに伴い指数関数的に増大する。
• リプシッツ定数は表現力を制限せず、一般化能力もリプシッツ正則化によって制御されない。
• スキップ接続により中間特徴行列のフルランクが維持され、最適化の流れが良性となり、予測が正しくない限りゼロ損失に収束しない。
• 理論的解析により、スキップ接続が ReLU 非線形性下でも最適化の流れを滑らかにすることが確認され、先行研究と比較して仮定を緩和した。
• MRI や超音波画像処理における実験的検証により、理論枠組みの有効性が裏付けられ、ドメイン固有のフレーム表現（k 空間または生データ）がモデル設計を向上させることを示した。