[論文レビュー] ManifoldNet: A Deep Network Framework for Manifold-valued Data

Rudrasis Chakraborty, Jose Bouza+2 more|arXiv (Cornell University)|Sep 11, 2018

Human Pose and Action Recognition参考文献 9被引用数 16

ひとこと要約

ManifoldNet は、標準的な畳み込みを、収束性が保証された再帰的加重フレチェット平均（wFM）層に置き換えることで、多様体値データ向けのディーブラーニングフレームワークを導入した。このアプローチにより、等長群作用に対する等長性が保証され、ReLU やプーリング層の必要性が排除される。本手法は、過学習の低減とパラメータ効率を実現し、動画分類および画像再構成タスクで最先端の性能を達成した。

ABSTRACT

Deep neural networks have become the main work horse for many tasks involving learning from data in a variety of applications in Science and Engineering. Traditionally, the input to these networks lie in a vector space and the operations employed within the network are well defined on vector-spaces. In the recent past, due to technological advances in sensing, it has become possible to acquire manifold-valued data sets either directly or indirectly. Examples include but are not limited to data from omnidirectional cameras on automobiles, drones etc., synthetic aperture radar imaging, diffusion magnetic resonance imaging, elastography and conductance imaging in the Medical Imaging domain and others. Thus, there is need to generalize the deep neural networks to cope with input data that reside on curved manifolds where vector space operations are not naturally admissible. In this paper, we present a novel theoretical framework to generalize the widely popular convolutional neural networks (CNNs) to high dimensional manifold-valued data inputs. We call these networks, ManifoldNets. In ManifoldNets, convolution operation on data residing on Riemannian manifolds is achieved via a provably convergent recursive computation of the weighted Fréchet Mean (wFM) of the given data, where the weights makeup the convolution mask, to be learned. Further, we prove that the proposed wFM layer achieves a contraction mapping and hence ManifoldNet does not need the non-linear ReLU unit used in standard CNNs. We present experiments, using the ManifoldNet framework, to achieve dimensionality reduction by computing the principal linear subspaces that naturally reside on a Grassmannian. The experimental results demonstrate the efficacy of ManifoldNets in the context of classification and reconstruction accuracy.

研究の動機と目的

• 曲がったリーマン多様体上に存在するデータ（例えば対称正定値行列、球面、グラスマン多様体など）に対するディープラーニングフレームワークの不足に対処すること。
• ベクトル空間における畳み込みを、非ユークリッドデータに適した内在的演算に置き換えることで、畳み込みニューラルネットワーク（CNN）を一般化すること。
• 多様体上での加重フレチェット平均計算を実行するレイヤーを開発し、収束性を保証するとともに、等長群作用による不変性を活用して重み共有を実現すること。
• wFM 操作が内在的にプーリング性を持つことを利用し、ReLU 層やプーリング層の必要性を排除すること。
• 自己符号化器アーキテクチャを用いて、動画分類および画像再構成タスクにおけるフレームワークの有効性を実証すること。

提案手法

• CNN の標準的な線形演算および ReLU 演算の代わりに、多様体における畳み込みのアナログとしての加重フレチェット平均（wFM）に基づく新規なネットワークレイヤーを提案する。
• リーマン多様体上での wFM の計算に、収束性が保証された再帰的アルゴリズムを導入し、安定的かつ効率的な最適化を実現する。
• wFM レイヤーが、対応するリーマン多様体の等長群作用に対して等長性を示すことを証明し、空間的位置間での重み共有を可能にする。
• 完全結合層を置き換えるために、wFM レイヤーを用いた多様体に適応した自己符号化器＋デコーダー構造を設計し、次元削減と再構成を実現する。
• 多様体値データの低次元表現を計算するために、グラスマン平均と iFME（反復的フレチェット平均推定器）レイヤーを採用する。
• 内在的なリーマン幾何学を用いて、平均値計算やレイヤー伝播などのすべての操作がユークリッド空間に埋め込まれることなく、多様体構造の内部に留まるように保証する。

実験結果

リサーチクエスチョン

• RQ1 内在的なリーマン幾何学的演算のみを用いて、多様体値データを扱えるようにディープニューラルネットワークを一般化できるか？
• RQ2 加重フレチェット平均レイヤーは、標準的な畳み込みや ReLU とは対照的に、安定的かつ収束的かつ等長性を満たす代替手段となり得るか？
• RQ3 wFM レイヤーは自然なプーリング操作として機能し得るか？ これにより、追加のプーリング層や非線形活性化層の必要性が排除できるか？
• RQ4 ManifoldNet フレームワークは、標準的な自己符号化器や PCA と比較して、多様体値データにおける再構成品質と一般化性能において優れているか？
• RQ5 データ多様体の内在的幾何構造は、下流タスクにおける一般化性能の向上と過学習の低減に、どの程度寄与するか？

主な発見

• 提案された ManifoldNet フレームワークは、標準的な完全結合自己符号化器と比較して、パラメータ数を 46% 減少させた。主な要因は、大規模な完全結合層をグラスマン平均層に置き換えたことである。
• iFME＋自己符号化器アーキテクチャは、標準的な自己符号化器よりも収束が早く、計算時間の短縮にもかかわらず、より低い再構成誤差を達成した。これは、図 4 の時間対誤差プロットで示されている。
• MNIST データセットにおいて、ManifoldNet を用いた自己符号化器＋iFME は、再構成データに対する分類器を用いた際、テストセット分類精度が 46.00% を達成した。これは、標準的自己符号化器（40.00%）および PCA（26.00%）を上回った。
• iFME レイヤーは正則化効果を示し、一般化性能を向上させる：訓練セットでは標準的自己符号化器がわずかに優れていたが、テストセットでは ManifoldNet が顕著に優れた性能を示した。
• 1280×720 動画シーケンスからの視覚的再構成は、PCA や標準的自己符号化器よりも高い視覚的品質を示し、全動画再構成が比較可能である。
• 本フレームワークは、動画分類および再構成タスクで最先端の性能を示した。wFM レイヤーは収縮写像の性質を示し、ReLU 単位の必要性を排除した。