[論文レビュー] Covariance in Physics and Convolutional Neural Networks

Miranda C. N. Cheng, Vassilis Anagiannis+4 more|arXiv (Cornell University)|Jun 6, 2019

Model Reduction and Neural Networks参考文献 13被引用数 11

ひとこと要約

この論文は、一般相対性理論における共変性と畳み込みニューラルネットワーク（CNN）における等変性の間の深い類似性を確立し、局所性、線形性、重み共有、局所座標変換における共変性の組み合わせが、リーマン多様体上での畳み込みの形を一意に決定することを示している。主な貢献は、平行移動とファイバー束形式を用いた数学的に厳密な共変畳み込みの導出であり、標準的なCNNを任意の曲がった空間へと一般化している。

ABSTRACT

In this proceeding we give an overview of the idea of covariance (or equivariance) featured in the recent development of convolutional neural networks (CNNs). We study the similarities and differences between the use of covariance in theoretical physics and in the CNN context. Additionally, we demonstrate that the simple assumption of covariance, together with the required properties of locality, linearity and weight sharing, is sufficient to uniquely determine the form of the convolution.

研究の動機と目的

• 一般相対性理論における一般共変性と現代の深層学習における等変性の間の概念的・数学的類似性を確立すること。
• 局所性、線形性、重み共有、および共変性の原則が、ニューラルネットワークにおける畳み込みの形を一意に決定できるかどうかを調査すること。
• 幾何的に一貫性のある畳み込み演算を導出することで、標準的なCNNを任意のリーマン多様体へと一般化すること。
• ファイバー束と平行移動を用いて、曲がった空間上での等変特徴学習を形式化すること。
• 局所微分同相写像に対して不変であるような幾何的深層学習モデルの設計の基盤を提供すること。

提案手法

• 局所座標変換における共変性を要求することで、リーマン多様体M上での畳み込み演算を導出する。
• 各点x ∈ Mの周囲の局所座標を定義するために指数写像を用い、接ベクトルv ∈ TxMを多様体上の点に写像する。
• 局所微分同相写像の下で特定の変換性を示すテンソル場として、カーネルK(x,v)を定義する。
• 重み共有を実現するために、カーネルが測地線に沿って平行移動されることを要求し、多様体全体で一貫性を保証する。
• リーマン体積形式√|g(x)|を含む、正規近傍Bx上の積分として出力特徴を表現する。
• カーネルと体積形式の平行移動から、出力場の共変微分が消えることを示す。

実験結果

リサーチクエスチョン

• RQ1 共変性、局所性、線形性、重み共有の原則が、曲がった空間上でのニューラルネットワークにおける畳み込みの形を一意に決定できるか？
• RQ2 計量が多様体全体で変化する幾何的設定において、重み共有を一貫して定義する方法は何か？
• RQ3 平行移動が局所座標変更における畳み込み演算の等変性を保証するために果たす役割は何か？
• RQ4 多様体上でのカーネル構造は、幾何的深層学習におけるテンソルバンドルと群表現とどのように関係するか？
• RQ5 物理学における一般共変性の原則を、深層学習アーキテクチャにおける等変設計に直接類推できるか？

主な発見

• 局所性、線形性、重み共有、および局所微分同相写像における共変性の組み合わせが、リーマン多様体上での畳み込み演算の形を一意に決定する。
• カーネル関数K(x,v)は局所座標変更の下でテンソル場として変換され、出力が入力変換と一貫した共変性を示す。
• 重み共有は、測地線に沿ったカーネルの平行移動によって実装され、多様体全体にわたる一貫性ある特徴抽出を保証する。
• 出力特徴場が微分同相写像群の作用に対して共変であることが示され、入力場の変換と一致する。
• 標準的なCNNを、球面やミンコフスキー時空を含む任意のリーマン多様体へと一般化する。これは、それらを同次空間として埋め込むことで実現される。
• 形式的枠組みは、ミンコフスキー時空上でのポアンカレ不変ネットワークを自然に含み、ポアンカレ群が対称性群として作用する。