[논문 리뷰] Relevance of Rotationally Equivariant Convolutions for Predicting Molecular Properties

B. Miller, Mario Geiger외 2명|arXiv (Cornell University)|2020. 08. 19.

Machine Learning in Materials Science참고 문헌 27인용 수 45

한 줄 요약

이 논문은 e3nn에서 회전 불변 레이어(L0Nets)와 등가성 레이어(L1Nets)를 비교하여, 고정 깊이에서 각도 특징이 테스트 오차를 평균 23% 감소시키는 반면 깊이를 증가시키는 효과는 평균적으로 4%에 불과하다는 것을 발견했다.

ABSTRACT

Equivariant neural networks (ENNs) are graph neural networks embedded in $\mathbb{R}^3$ and are well suited for predicting molecular properties. The ENN library e3nn has customizable convolutions, which can be designed to depend only on distances between points, or also on angular features, making them rotationally invariant, or equivariant, respectively. This paper studies the practical value of including angular dependencies for molecular property prediction directly via an ablation study with exttt{e3nn} and the QM9 data set. We find that, for fixed network depth and parameter count, adding angular features decreased test error by an average of 23%. Meanwhile, increasing network depth decreased test error by only 4% on average, implying that rotationally equivariant layers are comparatively parameter efficient. We present an explanation of the accuracy improvement on the dipole moment, the target which benefited most from the introduction of angular features.

연구 동기 및 목표

• SE(3) 네트워크의 각도(등가) 특징이 거리 기반의 불변 특징만 사용하는 경우보다 분자 특성 예측을 개선하는지 평가한다.
• QM9에서 고정된 모델 용량에서 L0Net과 L1Net의 성능 향상을 정량화한다.
• 분자 데이터에 대한 ENN에서 깊이와 각도가 예측 정확도에 어떻게 기여하는지 이해한다.

제안 방법

• SE(3) 등가 포인트 모듈을 갖춘 e3nn 라이브러리를 사용해 L0Net(불변)과 L1Net(등가) 아키텍처를 구성한다.
• 분자를 위치와 원소 특징을 가진 원자 집합으로 표현하고 회전, 평행이동, 순열 불변성을 강제한다.
• 내부 특징이 회전하는지(u1 != 0) 여부에 따라 모델을 비교한다(또는 회전하지 않는지(u1 = 0)).
• QM9의 스칼라 속성에 대해 모델을 학습·평가하고, 고정된 깊이와 매개변수 수에서 테스트 오차 차이를 분석한다.
• F^h = vec(F^h_ell=0 ⊕ F^h_ell=1)로 계층 업데이트를 표현하고 특징에 대한 회전 작용을 R로 분석한다(블록 행렬 형태).
• 각도 특징 도입으로 특히 두 극성 모멘트(dipole moment) 예측이 이점이 크다는 점에 초점을 맞춰 결과를 해석한다.

실험 결과

연구 질문

• RQ1 SE(3) 등가 네트워크에서 각도 특징을 포함하는 것이 순수한 거리 기반 불변 계층에 비해 스칼라 분자 특성 예측에 이점이 있는가?
• RQ2 깊이와 각도 특징이 QM9에서 예측 정확도에 어떻게 상호 작용하는가?

주요 결과

• 각도 특징이 고정 깊이와 매개변수 수에서 테스트 오차를 평균 23% 감소시킨다.
• 네트워크 깊이를 증가시켜도 테스트 오차 감소는 평균적으로 4%에 불과하다.
• 회전 등가 레이어는 상대적으로 매개변수 효율이 높다.
• 듀 구성 모듈의 예측에서 각도 특징의 도입이 특히 쌍극 모멘트(dipole moment) 예측에 큰 이점을 준다.
• L0Nets(불변 레이어)와 L1Nets(등가 레이어)는 내부 특징의 회전 여부에 따라 성능 차이가 나타난다.
• 본 연구는 QM9 내 ENN을 위치시키며 분자 특성 회귀에서 각도 정보의 가치를 강조한다.