[論文レビュー] Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data

Marc Finzi, Samuel Stanton+2 more|arXiv (Cornell University)|Feb 25, 2020

Machine Learning in Materials Science参考文献 47被引用数 73

ひとこと要約

本論文は、指数写像が全射である任意の Lie 群の変換に対して等変性を達成する畳み込み層 LieConv を提案し、単一のアーキテクチャで任意の連続空間データ（例：画像、分子、動的システム）を処理可能にします。画像や分子タスクで競争力のあるまたは最先端の結果を示し、ハミルトン系での運動量を完全に保存可能にします。

ABSTRACT

The translation equivariance of convolutional layers enables convolutional neural networks to generalize well on image problems. While translation equivariance provides a powerful inductive bias for images, we often additionally desire equivariance to other transformations, such as rotations, especially for non-image data. We propose a general method to construct a convolutional layer that is equivariant to transformations from any specified Lie group with a surjective exponential map. Incorporating equivariance to a new group requires implementing only the group exponential and logarithm maps, enabling rapid prototyping. Showcasing the simplicity and generality of our method, we apply the same model architecture to images, ball-and-stick molecular data, and Hamiltonian dynamical systems. For Hamiltonian systems, the equivariance of our models is especially impactful, leading to exact conservation of linear and angular momentum.

研究の動機と目的

• 座標と値として表現された任意の連続空間データに対する等変性モデルの一般的な枠組みを動機づけ、定式化する。
• 指数写像と対数写像を介して Lie 群変換に対して等変である畳み込み層 LieConv を開発する。
• 新しい対称性を取り込むには群の指数写像と対数写像のみを必要とすることで、迅速なプロトタイピングを可能にする。
• 単一のアーキテクチャで、画像、分子データ、動的システムといった多様な領域で手法を実証する。

提案手法

• カーネル k_theta を指数写像/対数写像を通して Lie代数へ写像させる、 Lie 群上の畳み込みとして LieConv を定義する。
• 空間 X からGの軌道へデータをリフトする。起点を選択し、群要素をサンプリングする（リフティング手法）。
• 連続群要素を扱うため、 Lie代数上のニューラルネットワークとして k_theta をパラメータ化する。
• 畳み込みの局所性を、群距離 d(u,v)=||log(u^{-1}v)||_F を用いて適用域を制限することで強制する。
• 近傍空間上でモンテカルロ推定を用いて群畳み込みを離散化し、分布における等変性を保持する。
• グループが X 上で複数の軌道を持つ場合（X/G）へのリフティングを拡張し、軌道情報をカーネルに組み込む。

実験結果

リサーチクエスチョン

• RQ1 非グリッドデータ上で、 Lie 群理論を用いた単一のニューラルアーキテクチャが任意の Lie 群からの変換に対して等変性を達成できるか？
• RQ2 任意の連続空間データを効率的に群へリフトし、群上で局所的・微分可能・等変性を持つカーネルを定義するにはどうすればよいか？
• RQ3 提案手法 LieConv は、物理対称性を保ちながら、画像・分子・動的システムのタスクで競争力の高いまたは優れた性能を発揮するか？
• RQ4 適切な Lie 群対称性を適用することにより、ハミルトン系で正確な保存則（線形・角運動量など）を達成できるか？

主な発見

• LieConv は RotMNIST と QM9 で競争力の結果を達成し、いくつかの QM9 タスクで最先端の性能を示す。
• T(3)、SE(3) およびその他の Lie 群等変性を使用することで、分子特性予測の性能がベースラインと比べて向上する。
• LieConv は適切な対称性（平行移動・回転）を課すと、ハミルトン系のモデル化において線形および角運動量の厳密な保存を実現できる。
• 単一の LieConv ベースのアーキテクチャを、画像・分子・動的システムの全領域に適用でき、実証的な高性能を示す。