[논문 리뷰] Generalizing Convolutional Neural Networks for Equivariance to Lie Groups on Arbitrary Continuous Data

Marc Finzi, Samuel Stanton외 2명|arXiv (Cornell University)|2020. 02. 25.

Machine Learning in Materials Science참고 문헌 47인용 수 73

한 줄 요약

본 논문은 모든 사영지수 맵이 전사하는 Lie 그룹의 변환에 대해 등변성을 달성하는 컨볼루션 층 LieConv를 제안하여, 단일 아키텍처로 임의의 연속 공간 데이터(예: 이미지, 분자, 동역학 시스템)를 처리할 수 있게 한다. 이미지 및 분자 작업 전반에서 경쟁력 있거나 최첨단 결과를 보여주고 해밀토니안 시스템에서 정확한 운동량 보존을 가능하게 한다.

ABSTRACT

The translation equivariance of convolutional layers enables convolutional neural networks to generalize well on image problems. While translation equivariance provides a powerful inductive bias for images, we often additionally desire equivariance to other transformations, such as rotations, especially for non-image data. We propose a general method to construct a convolutional layer that is equivariant to transformations from any specified Lie group with a surjective exponential map. Incorporating equivariance to a new group requires implementing only the group exponential and logarithm maps, enabling rapid prototyping. Showcasing the simplicity and generality of our method, we apply the same model architecture to images, ball-and-stick molecular data, and Hamiltonian dynamical systems. For Hamiltonian systems, the equivariance of our models is especially impactful, leading to exact conservation of linear and angular momentum.

연구 동기 및 목표

• 좌표와 값으로 표현된 임의의 연속 공간 데이터에 대한 등변 모델의 일반 프레임워크를 동기 부여하고 형식화한다.
• exp/log 매핑을 통해 Lie 그룹 변환에 대해 등변적인 컨볼루션 레이어인 LieConv를 개발한다.
• 새로운 대칭을 도입하기 위해 필요한 것은 그룹의 지수 및 로그 매핑뿐임으로 빠른 프로토타이핑을 가능하게 한다.
• 단일 아키텍처로 다양한 도메인(이미지, 분자 데이터, 동역학 시스템)에서 이 방법을 시연한다.

제안 방법

• 커널 k_theta가 지수/로그를 통해 Lie 대수로 매핑되는 Lie 군에서의 합성곱으로 LieConv를 정의한다.
• 공간 X에서 원점을 선택하고 그룹 원소를 샘플링하여 G 궤도로 입력 데이터를 상승(lift)시킨다(상승 절차).
• 연속 그룹 원소를 다루기 위해 Lie 대수에 걸쳐 신경망으로 커널 k_theta를 모수화한다.
• 합성곱의 지지를 제한하기 위해 d(u,v)=||log(u^{-1}v)||_F인 그룹 거리를 사용하여 지역성을 강제한다.
• 주변 이웃에서 몬테카를로 추정기로 그룹 합성곱을 이산화하여 분포에서의 등변성을 보존한다.
• 그룹이 X에서 다중 궤도를 갖고 작용하는 경우(X/G)까지 상승을 확장하고 궤도 정보를 커널에 반영한다.]
• research_questions:["비격자(non-grid) 데이터에서 임의의 Lie 그룹의 변환에 대해 등변성을 달성하기 위해 Lie 그룹 이론을 활용한 단일 신경망 아키텍처가 가능할까?","임의의 연속 공간 데이터를 그룹으로 효율적으로 상승시키고 그룹 위에서 지역적이면서 미분 가능한 등변 커널을 정의하는 방법은?","제안된 LieConv 접근이 물리적 대칭성을 보존하면서 이미지, 분자 및 동역학 시스템 작업에서 경쟁력 있거나 우수한 성능을 달성하는가?","적절한 Lie 그룹 대칭을 강제하여 해밀토니안 시스템에서 정확한 보존 법칙(예: 선형 및 각 운동량의 보존)을 달성할 수 있는가?"]
• key_findings:[

실험 결과

연구 질문

• RQ1 비격자(non-grid) 데이터에서 임의의 Lie 그룹의 변환에 대해 등변성을 달성하기 위해 Lie 그룹 이론을 활용한 단일 신경망 아키텍처가 가능할까?
• RQ2 임의의 연속 공간 데이터를 그룹으로 효율적으로 상승시키고 그룹 위에서 지역적이면서 미분 가능한 등변 커널을 정의하는 방법은?
• RQ3 제안된 LieConv 접근이 물리적 대칭성을 보존하면서 이미지, 분자 및 동역학 시스템 작업에서 경쟁력 있거나 우수한 성능을 달성하는가?
• RQ4 적절한 Lie 그룹 대칭을 강제하여 해밀토니안 시스템에서 정확한 보존 법칙(예: 선형 및 각 운동량의 보존)을 달성할 수 있는가?

주요 결과

• LieConv는 RotMNIST와 QM9에서 경쟁력 있는 결과를 달성하며, 일부 QM9 작업에서 최첨단 성능을 보인다.
• T(3), SE(3) 및 기타 Lie 그룹 등변성을 사용하면 기준선과 비교해 분자 특성 예측 성능이 향상된다.
• 적절한 대칭(평행 이동/회전)을 가했을 때 LieConv는 해밀토니안 시스템 모델링에서 선형 및 각 운동량의 정확한 보존을 가능하게 한다.
• 하나의 LieConv 기반 아키텍처가 이미지, 분자 및 동역학 시스템 전반에 걸쳐 적용가능하며 강한 실험적 성능을 보인다.