[論文レビュー] Incidence Networks for Geometric Deep Learning

Marjan Albooyeh|arXiv (Cornell University)|Jan 1, 2019

Topological and Geometric Data Analysis参考文献 39被引用数 11

ひとこと要約

この論文は、グラフ、単体複体、多面体などの構造的幾何データに対して、インシデントテンソルを用いた同変性を持つ深層学習モデルであるインシデントネットワークを導入する。同変性を持つ線形写像が、パラメータ数を削減しながら対称性を保持する効率的なプーリングおよびブロードキャスト操作に分解できることを示し、対称群作用下での顔ベクトル分解を用いた体系的な構成法が得られることを示している。

ABSTRACT

Sparse incidence tensors can represent a variety of structured data. For example, we may represent attributed graphs using their node-node, node-edge, or edge-edge incidence matrices. In higher dimensions, incidence tensors can represent simplicial complexes and polytopes. In this work, we formalize incidence tensors, analyze their structure, and present the family of equivariant networks that operate on them. We show that any incidence tensor decomposes into invariant subsets. This decomposition, in turn, leads to a decomposition of the corresponding equivariant layer that allows efficient and intuitive pooling-and-broadcasting implementation, for both dense and sparse tensors. We demonstrate the effectiveness of this family of networks by reporting state-of-the-art on graph learning tasks for many targets in the QM9 dataset.

研究の動機と目的

• グラフ、単体複体、多面体などの構造的幾何データを統一的に表現するためのインシデントテンソルの形式化。
• 特に対称群作用下での幾何的構造の対称性を尊重する同変性を持つ深層学習モデルの設計。
• インシデントテンソル上の同変性を持つ線形写像を、効率的でパラメータ効率の良いプーリングおよびブロードキャスト操作に分解すること。
• Maronら（2018）のモデルなど、既存の同変性モデルを統一的かつ一般化し、それらが提案されたフレームワークの特別な場合であることを示すこと。
• 顔ベクトル分解と軌道に基づくパラメータ共有を用いて、効率的でモジュール的かつスケーラブルな幾何的深層学習を可能にすること。

提案手法

• 異なる次元の面間のインシデント関係を符号化するスパースなインシデントテンソルを用いて幾何データを表現する。
• 全般的な対称性群として対称群 SN を用い、自動同型群が異なる幾何的インスタンス間でも同変性を実現可能にする。
• インシデントテンソルを、固定サイズの面に対応する不変部分集合（軌道）に分解し、各次元ごとに顔ベクトルを形成する。
• 同変性を持つ線形写像を、異なるサイズの顔ベクトル間のプーリングおよびブロードキャスト操作の線形結合として特徴付ける。
• 有効なプーリングおよびブロードキャスト構成の数を数える公式 τm→m′ = ∑m=0min(M,M′) (M choose m)(M′ choose m)m! を用いて独立パラメータの数を導出する。
• 顔ベクトル分解による同等の構造的パターン間でのパラメータ共有を活用し、同変層をスタックすることでインシデントネットワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 インシデントテンソルを、グラフ、単体複体、多面体などの多様な幾何的データ構造に体系的かつ一貫して用いる方法は何か？
• RQ2 対称群作用下でのインシデントテンソル上の同変性を持つ線形写像の構造は何か？ そして、それらはどのように分解できるか？
• RQ3 個々のインスタンス固有の自動同型群の代わりに、グローバルな対称群を用いることで、幾何的データの同変モデルを効率的かつ汎用的に構築できるか？
• RQ4 インシデントテンソル上のすべての同変性を持つ線形写像を構成するために必要な最小限の操作は何か？ そして、それらはどのように効率的にパrameter化できるか？
• RQ5 Maron ら（2018）のモデルなど、既存の同変性モデルは、プーリングおよびブロードキャスト操作の統一的フレームワークにどのように適合するか？

主な発見

• 任意のインシデントテンソルは、対称群作用下で不変な軌道に分解され、それらは固定サイズの面に対応し、顔ベクトル表現を可能にする。
• インシデントテンソル上の同変性を持つ線形写像は、効率的なプーリングおよびブロードキャスト操作に分解され、その数は τm→m′ = ∑m=0min(M,M′) (M choose m)(M′ choose m)m! で与えられる。
• 層全体の独立パラメータ総数は τ = ∑m,m′ κ′m′κmτm→m′ で与えられ、これは単純なパラメータ化に比べて顕著に小さい。
• このフレームワークは、既存の同変性モデル（例：Maron ら（2018））を一般化・統一し、それらが提案されたプーリングおよびブロードキャスト構成の特別な場合であることを示している。
• D次元のノード-ノード-...-ノードテンソルに対して、パラメータ総数は Bell(2D) に一致し、Maron ら（2018）の結果と一致してフレームワークの整合性を裏付けている。
• モデルは、密行列の重みを置き換えることで、構造的でスパarsityに配慮したプーリングおよびブロードキャスト操作を用いることで、パラメータ効率を達成し、複雑さを低下させながら同変性を保持している。