[論文レビュー] Geometric Deep Learning: Grids, Groups, Graphs, Geodesics, and Gauges

Michael M. Bronstein, Joan Bruna+2 more|arXiv (Cornell University)|Apr 27, 2021

Graph Theory and Algorithms参考文献 255被引用数 551

ひとこと要約

幾何深層学習を、対称性、表現、そして異なる領域（グラフ、格子、群、多様体、束）をまたぐ不変性のもとにニューラルネットワークを位置づける統一的な調査。

ABSTRACT

The last decade has witnessed an experimental revolution in data science and machine learning, epitomised by deep learning methods. Indeed, many high-dimensional learning tasks previously thought to be beyond reach -- such as computer vision, playing Go, or protein folding -- are in fact feasible with appropriate computational scale. Remarkably, the essence of deep learning is built from two simple algorithmic principles: first, the notion of representation or feature learning, whereby adapted, often hierarchical, features capture the appropriate notion of regularity for each task, and second, learning by local gradient-descent type methods, typically implemented as backpropagation. While learning generic functions in high dimensions is a cursed estimation problem, most tasks of interest are not generic, and come with essential pre-defined regularities arising from the underlying low-dimensionality and structure of the physical world. This text is concerned with exposing these regularities through unified geometric principles that can be applied throughout a wide spectrum of applications. Such a 'geometric unification' endeavour, in the spirit of Felix Klein's Erlangen Program, serves a dual purpose: on one hand, it provides a common mathematical framework to study the most successful neural network architectures, such as CNNs, RNNs, GNNs, and Transformers. On the other hand, it gives a constructive procedure to incorporate prior physical knowledge into neural architectures and provide principled way to build future architectures yet to be invented.

研究の動機と目的

• 対称性と不変性を活用して深層学習に対する幾何学的視点を動機づけ、形式化する。
• 高次元データの次元の呪いに対抗する inductive biases として幾何 priors を導入する。
• 多様な幾何ドメイン（グラフ、格子、群、多様体、束）にわたるアーキテクチャの統一的設計図を提供する。
• 表現、自己同型、変形がモデル設計と学習にどう影響するかを説明する。
• 将来の幾何モデルの第一原理として対称性からアーキテクチャを導く実務者を導く。

提案手法

• グループ作用と表現に基づく幾何深層学習の公式なエルランゲ-program風フレームワークを提示する。
• 対称群に対する関数の不変性と等変性を特徴づける。
• スケール分離と変形安定性を、アーキテクチャを形作る幾何 priors として議論する。
• 幾何ドメイン（グラフ、格子、群、多様体）と対応するニューラルアーキテクチャを調査する。
• 畳み込み、プーリング、等変メッセージ伝達などのモデル構築ブロックを統一的に説明する。
• ゲージ/束理論の概念が幾何的文脈でのアーキテクチャ設計をどう知らせるかを説明する。

実験結果

リサーチクエスチョン

• RQ1 対称性、群表現、不変性の原理は、さまざまな幾何ドメインを横断してニューラルネットワークの設計を統一・導くことができるか。
• RQ2 幾何的 priors（対称性、スケール分離、変形安定性）は高次元の構造化データの学習をどのように改善するか。
• RQ3 CNN、GNN、トランスフォーマーのようなアーキテクチャは、幾何学と対称性の第一原理から導出できるか。
• RQ4 多様体、測地線、ゲージ、束は幾何深層学習モデルの形成にどんな役割を果たすか。
• RQ5 グリッド、グラフ、群、多様体へ priors を体系的に移すことで、原理的なモデルを構築できるか。

主な発見

• 対称性と表現論を通じてCNN、GNN、トランスフォーマー、関連モデルを統一的なフレームワークとして提供する。
• データドメイン上の群作用に対する関数の不変性と等変性を明確にする。
• スケール分離や変形安定性といった幾何 priors が構造化されたドメインでの学習において重要であることを強調する。
• 異なる幾何ドメイン（グラフ、格子、群、多様体）は、第一原理から構築された対応するニューラルアーキテクチャを受け入れることを説明する。
• ゲージと束の概念が多様体やより複雑なドメインでのネットワーク設計にどのように情報を提供できるかを説明する。