[논문 리뷰] Active Importance Sampling for Variational Objectives Dominated by Rare Events: Consequences for Optimization and Generalization

Grant M. Rotskoff, Andrew Mitchell외 1명|arXiv (Cornell University)|2020. 08. 11.

Machine Learning and Algorithms참고 문헌 37인용 수 18

한 줄 요약

이 논문은 고차원 문제에서 희귀 사건에 의해 지배되는 변분 목표를 최적화하기 위해 활성 중요도 샘플링(active importance sampling)을 제안한다. 신경망을 사용하여 메타안정 시스템 내의 희귀 전이 경로를 학습한다. 비판적인 영역을 적응적으로 샘플링함으로써, 이 방법은 분산을 감소시키고 최적화의 안정성을 향상시키며, 통계역학에서의 확률함수 방정식(committor equations)과 같은 고차원 편미분방정식(PDE)의 일반화 능력을 향상시킨다.

ABSTRACT

Deep neural networks, when optimized with sufficient data, provide accurate representations of high-dimensional functions; in contrast, function approximation techniques that have predominated in scientific computing do not scale well with dimensionality. As a result, many high-dimensional sampling and approximation problems once thought intractable are being revisited through the lens of machine learning. While the promise of unparalleled accuracy may suggest a renaissance for applications that require parameterizing representations of complex systems, in many applications gathering sufficient data to develop such a representation remains a significant challenge. Here we introduce an approach that combines rare events sampling techniques with neural network optimization to optimize objective functions that are dominated by rare events. We show that importance sampling reduces the asymptotic variance of the solution to a learning problem, suggesting benefits for generalization. We study our algorithm in the context of learning dynamical transition pathways between two states of a system, a problem with applications in statistical physics and implications in machine learning theory. Our numerical experiments demonstrate that we can successfully learn even with the compounding difficulties of high-dimension and rare data.

연구 동기 및 목표

• 균형 측도 하에서 희귀 사건이 주요 기여를 하는 고차원 시스템에서 변분 목표를 최적화하는 데 도전하는 것.
• 희귀사건에 의해 지배되는 목표 함수를 학습할 때 표준 몬테카를로 샘플링의 낮은 데이터 효율성과 높은 분산 문제를 해결하는 것.
• 적응적 샘플링 전략을 통해 고차원 PDE(예: 백워드 코모골로프 방정식 또는 확률함수 방정식)를 푸는 데 있어 일반화 능력과 최적화 안정성을 향상시키는 것.
• 표준 샘플링이 낮은 확률 영역으로 인해 전이 경로를 포착하지 못하는 메타안정 상태를 가진 시스템에서 효과적인 학습을 가능하게 하는 것.
• 중요도 샘플링이 손실 표면에서 渐近 분산(asymptotic variance)을 감소시켜 더 나은 일반화와 신뢰할 수 있는 최적화를 이끌어내는지 보여주는 것.

제안 방법

• 변분 목표에 가장 큰 기여를 하는 영역, 특히 희귀 전이 경로를 집중적으로 샘플링하기 위해 활성 학습과 중요도 샘플링을 조합하는 것.
• 확률적 해석을 위해 값이 (0,1) 범위에 있도록 보장하기 위해, 단일 ReLU 은닉층과 시그모이드 출력을 갖는 신경망을 사용해 확률함수를 매개변수화하는 것.
• 경계 조건 포함 총 12개의 윈도우를 사용한 윈도우 기반 최적화 방식을 구현하며, 5000단계 동안 5×10⁻²의 학습률을 사용한 확률적 경사하강법을 적용하는 것.
• 각 윈도우당 25회의 샘플링 단계를 적용하여 손실 함수 추정치를 반복적으로 개선하고, 현재 모델의 불확실성에 기반해 샘플링 분포를 적응적으로 조정하는 것.
• 포커-플랑크 방정식 또는 백워드 코모골로프 방정식의 구조를 활용해 균형 측도와 위치 에너지 경관을 정의함으로써, 메타안정 상태를 식별하는 것.
• 이중 웰 포텐셜을 갖는 랑주방 정역학을 사용해 메타안정성을 모델링하고 상태 간 희귀 전이를 시뮬레이션하며, 확률함수는 한 상태에 도달할 확률을 캡처하는 것.

실험 결과

연구 질문

• RQ1 활성 중요도 샘플링은 희귀 사건에 의해 지배되는 변분 목표에서 신경망 학습의 渐近 분산을 감소시킬 수 있는가?
• RQ2 활성 샘플링은 고차원 PDE(예: 확률함수 방정식)에서 최적화 안정성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 표준 샘플링이 희귀 구성 상태를 포착하지 못할 때, 신경망은 메타안정 상태 간 전이 경로를 효과적으로 학습할 수 있는가?
• RQ4 적응적 샘플링은 고차원 시스템에서 학습된 확률함수의 수렴성과 정확도에 어떤 영향을 미치는가?
• RQ5 신경망 아키텍처와 샘플링 전략의 선택은 복잡한 다중 웰 포텐셜 경관에서 진짜 전이 상태를 회복하는 데 어떤 영향을 미치는가?

주요 결과

• 활성 중요도 샘플링은 경험적 손실의 渐近 분산을 크게 감소시켜 변분 목표의 최적화가 더 안정적이고 정확해지도록 한다.
• 이 방법은 144차원 시스템에서 두 메타안정 상태 간의 특징적인 시계열 모양의 전이 경로를 성공적으로 복원하였으며, 스트링 방법과 최소 행동 방법의 기존 결과와 일치한다.
• 균일 샘플링 기반의 경험적 손실은 희귀사건 영역의 희소성로 인해 진정한 인구 손실의 형태와 척도를 포착하지 못하며, 이로 인해 큰 일반화 오차가 발생한다.
• 학습 초반에 손실이 증가하는 것은 전이 경로의 일관되지 않은 初기 표현 때문이며, 대표적인 구성이 샘플링되면서 손실 추정치가 향상됨에 따라 수정된다.
• 알고리즘이 고차원 문제에 잘 일반화됨을 12×12 격자(144 자유도)에서 입증하였으며, 이는 확률함수와 전이 상태를 정확히 식별하는 데 성공하였다.
• 이 방법은 데이터가 부족하고 균형 측도가 매우 비균일한 경우에도 효과적인 학습을 가능하게 하여, 통계역학 및 생물물리학에서의 복잡한 시스템에 적합하다.