[論文レビュー] Relevance of Rotationally Equivariant Convolutions for Predicting Molecular Properties

B. Miller, Mario Geiger+2 more|arXiv (Cornell University)|Aug 19, 2020

Machine Learning in Materials Science参考文献 27被引用数 45

ひとこと要約

回転不変なニューラルネット層（L0Nets）と等変層（L1Nets）をe3nnでQM9上で比較し、角度特徴は深さ固定時に平均でテスト誤差を23%低減させる一方、深さを増やしても改善は4%程度にとどまる。

ABSTRACT

Equivariant neural networks (ENNs) are graph neural networks embedded in $\mathbb{R}^3$ and are well suited for predicting molecular properties. The ENN library e3nn has customizable convolutions, which can be designed to depend only on distances between points, or also on angular features, making them rotationally invariant, or equivariant, respectively. This paper studies the practical value of including angular dependencies for molecular property prediction directly via an ablation study with exttt{e3nn} and the QM9 data set. We find that, for fixed network depth and parameter count, adding angular features decreased test error by an average of 23%. Meanwhile, increasing network depth decreased test error by only 4% on average, implying that rotationally equivariant layers are comparatively parameter efficient. We present an explanation of the accuracy improvement on the dipole moment, the target which benefited most from the introduction of angular features.

研究の動機と目的

• SE(3)ネットワークの角度（等変）特徴が距離のみの不変特徴より分子特性予測を改善するか評価する。
• QM9でL0NetsとL1Netsの固定モデル容量での性能向上を定量化する。
• 分子データの ENN における予測精度において深さと角度性がどのように寄与するかを理解する。

提案手法

• SE(3) 等変点モジュールを用いた e3nn ライブラリで L0Net（不変）と L1Net（等変）アーキテクチャを構築する。
• 分子を原子の位置と元素特徴量の集合として表現し、回転、平行移動、置換不変性を保証する。
• 内部特徴が回転するかどうか（u1 != 0）で異なるモデルを比較する、そうでない場合（u1 = 0）。
• QM9 のスカラー特性を訓練・評価し、固定深さとパラメータ数での平均的テスト誤差の差を分析する。
• 層の更新を F^h = vec(F^h_ell=0 ⊕ F^h_ell=1) と表現し、特徴上の回転作用を R によるブロック行列形式で分析する。
• 角度特徴導入による dipole moment の性能向上を着目して結果を解釈する。

実験結果

リサーチクエスチョン

• RQ1 SE(3)等変ネットワークにおける角度特徴を含めることは、距離のみの不変層と比較して分子のスカラー特性予測に利益があるか。
• RQ2 深さと角度特徴はQM9での予測精度にどのように相互作用するか。

主な発見

• 角度特徴は固定深さ・パラメータ数でのテスト誤差を平均23%低減する。
• ネットワークの深さを増やしてもテスト誤差の低減は平均してわずか4%にとどまる。
• 回転等変層は相対的にパラメータ効率が良い。
• 双極子モーメントの予測は角度特徴の導入から最も利益を得る。
• L0Nets（不変層）と L1Nets（等変層）は内部特徴が回転するかどうかで性能が異なる。
• 本研究は QM9 内の ENN を位置づけ、分子特性回帰における角情報の価値を強調する。