[논문 리뷰] Equivariant Flows: Exact Likelihood Generative Learning for Symmetric Densities

Jonas Köhler, Leon Klein외 1명|arXiv (Cornell University)|2020. 06. 03.

Machine Learning in Materials Science참고 문헌 45인용 수 51

한 줄 요약

논문은 대칭 보존(동등성) 정규화 흐름을 도입하여 정확한 가능도 볼츠만 생성 흐름을 제시하고, 대칭 다체 시스템에서 샘플링 효율과 일반화를 향상시킨다.

ABSTRACT

Normalizing flows are exact-likelihood generative neural networks which approximately transform samples from a simple prior distribution to samples of the probability distribution of interest. Recent work showed that such generative models can be utilized in statistical mechanics to sample equilibrium states of many-body systems in physics and chemistry. To scale and generalize these results, it is essential that the natural symmetries in the probability density -- in physics defined by the invariances of the target potential -- are built into the flow. We provide a theoretical sufficient criterion showing that the distribution generated by extit{equivariant} normalizing flows is invariant with respect to these symmetries by design. Furthermore, we propose building blocks for flows which preserve symmetries which are usually found in physical/chemical many-body particle systems. Using benchmark systems motivated from molecular physics, we demonstrate that those symmetry preserving flows can provide better generalization capabilities and sampling efficiency.

연구 동기 및 목표

• 물리적 대칭을 확률 밀도 추정 및 샘플링 모델에 포함시킬 필요성을 동기화한다.
• 밀도 생성을 위한 목표 대칭을 보존하는지 여부를 나타내는 이론적 기준을 제시한다.
• 다체 입자 시스템에 대해 실용적이고 다룰 수 있는 동등성 흐름의 구성을 제공한다.
• 벤치마크 물리 시스템에서 비-동등성 기반 기준보다 일반화 및 샘플링 효율이 향상됨을 입증한다.

제안 방법

• R^n에서의 그룹 작용으로 대칭을 형식화하고, G-불변 밀도에서 매핑된 H-동등 미분동형해가 H-불변의 푸시-포워드를 산출함을 증명한다.
• H-동등 벡터장으로 연속 정규화 흐름(CNF)을 사용하여 등가 흐름을 구성하고, 발산을 닫힌 형태로 계산하여 정확한 밀도 변화가 가능함.
• Φ가 H-불변인 인변한 포텐셜 기반 그래디언트 필드 v(x)=∇Φ(x)를 설계하여 v가 H-동등이 되도록 한다.
• 트랙터블한 발산 계산을 가능하게 하는 간단한 가우시안 반경 기저 함수의 혼합으로 벡터장을 구현한다.
• 발산의 정확한 방법을 사용하여 입자 수에 따라 잘 확장되지 않는 Hutchinson 형 추정기를 피한다.
• DW-2, DW-4, LJ-13 등 대칭 입자 시스템에서 전체 회전, 평행이동, 순열 대칭으로 벤치마크.

실험 결과

연구 질문

• RQ1 다체 시스템의 목표 밀도 대칭을 존중하도록 정상화 흐름을 어떻게 구성할 수 있는가?
• RQ2 대칭 보존(동등성) 흐름이 비-동등성 흐름보다 일반화 및 샘플링 효율이 더 좋은가?
• RQ3 등가 CNF에서 정확한 발산을 효율적으로 계산하여 볼츠만 생성 흐름에서 바이어스 없는 재가중치를 가능하게 할 수 있는가?
• RQ4 대칭 포텐셜에서 동등성은 메타안정 상태 발견에 어떤 영향을 미치는가?
• RQ5 이 시스템에 대한 동등 흐름에서 DTO 대 OTD 학습 규칙은 어떻게 비교되는가?

주요 결과

• 동등 흐름은 G>H이고 f가 H-동등일 때 생성된 밀도의 H-불변성을 보장하여 모델에 대칭이 설계에 내재되어 있다.
• 불변 포텐셜의 그래디언트 필드를 이용한 명시적이고 다룰 수 있는 구현은 정확한 발산과 안정적이고 효율적인 학습을 제공한다.
• 동등 흐름은 제한된 데이터로도 잘 일반화하고 데이터 증강으로 대칭에 활용될 때 특히 비동등 흐름보다 우수하다( DW-4 및 LJ-13 ).
• 볼츠만 생성 구도에서 동등 흐름은 타깃 분포와 상당한 중첩을 달성하고 비편향 재가중을 가능하게 한다는 점에서 비동등 구성이 일부와 다르게 작동한다.
• 실험은 동등 모델이 비동등 기준선보다 더 많은 메타안정 상태를 발견하고 에너지 지형을 더 잘 매칭함을 보여준다.