[논문 리뷰] Geometric Methods for Sampling, Optimisation, Inference and Adaptive Agents

Alessandro Barp, Lancelot Da Costa외 5명|arXiv (Cornell University)|2022. 03. 20.

Topological and Geometric Data Analysis인용 수 5

한 줄 요약

이 논문은 해밀턴 역학, 정보 기하학, 심플렉틱 기하학 등의 기하적 구조를 통해 샘플링, 최적화, 추론 및 적응형 의사결정을 통합한다. 내재된 시스템 성질을 유지하는 기하적 적분기법과 스티븐 기반 방법을 제안함으로써 기계학습 및 통계적 추론 작업 전반에서 가속화되고 안정적이며 확장 가능한 알고리즘을 가능하게 한다.

ABSTRACT

In this chapter, we identify fundamental geometric structures that underlie the problems of sampling, optimisation, inference and adaptive decision-making. Based on this identification, we derive algorithms that exploit these geometric structures to solve these problems efficiently. We show that a wide range of geometric theories emerge naturally in these fields, ranging from measure-preserving processes, information divergences, Poisson geometry, and geometric integration. Specifically, we explain how (i) leveraging the symplectic geometry of Hamiltonian systems enable us to construct (accelerated) sampling and optimisation methods, (ii) the theory of Hilbertian subspaces and Stein operators provides a general methodology to obtain robust estimators, (iii) preserving the information geometry of decision-making yields adaptive agents that perform active inference. Throughout, we emphasise the rich connections between these fields; e.g., inference draws on sampling and optimisation, and adaptive decision-making assesses decisions by inferring their counterfactual consequences. Our exposition provides a conceptual overview of underlying ideas, rather than a technical discussion, which can be found in the references herein.

연구 동기 및 목표

• 샘플링, 최적화, 추론 및 적응형 의사결정에 기반한 기본 기하적 구조—예를 들어 심플렉틱 기하학, 정보 기하학, 파오송 기하학—를 규명하고 통합한다.
• 내재된 시스템 성질(에너지, 발산, 계량 등)을 유지하는 기하 알고리즘을 개발하여 수렴성과 안정성을 향상시킨다.
• 고전적 체계역학과 통계적 학습을 연결하기 위해 최적화 및 샘플링을 해밀턴 또는 소산 동역학계로 공식화한다.
• 기하 원리와 변분 추론 프레임워크를 활용해 복잡한 모델에서 확장 가능하고 견고한 추론 및 의사결정을 가능하게 한다.
• 능동적 추론을 기하 제어와 정보 기하학으로 통합함으로써 반사적 사고와 효율적인 계획을 수행할 수 있는 적응형 에이전트를 도출한다.

제안 방법

• 최적화 및 샘플링에서 해밀턴계를 이산화하기 위해 심플렉틱 및 기하 적분기법을 활용하여 에너지와 수렴 속도를 유지한다.
• 피셔 계량과 자연 경사 하강법을 통해 정보 기하학을 적용하여 통계 다양체에서의 추론 및 모델 최적화를 향상시킨다.
• 커널 기반의 차이(예: MMD, KSD)와 스티븐 연산자를 사용하여 통계적 추론에서 강건하고 가능도 기반 추정기가 없는 추정기를 구성한다.
• 확장된 상태공간에서 자유 에너지 최소화와 변분 추론을 활용하여 지각 및 의사결정을 기하 최적화 문제로 재구성한다.
• 속도 매칭 적분기법과 소산 해밀턴계를 도입하여 부드럽고 제약 조건이 있는 최적화에서 수렴 속도를 가속화한다.
• 능동적 추론과 함께 몬테카를로 트리 검색 및 역방향 계획을 조합하여 선형 복잡도로 장기 시간 간격 문제에 대한 의사결정을 확장한다.

실험 결과

연구 질문

• RQ1 소산 동역계에 대해 최적화에서 심플렉틱 및 기하 적분기법을 어떻게 적응시켜 수렴성과 안정성을 유지할 수 있는가?
• RQ2 효율적인 샘플링과 추론을 뒷받침하는 기하적 구조는 무엇이며, 이를 활용해 강건하고 가능도 기반 추정기가 없는 추정기를 설계할 수 있는가?
• RQ3 정보 기하학과 자연 경사 방법은 통계 다양체에서 최적화 및 추론을 어떻게 향상시킬 수 있는가?
• RQ4 해밀턴 역학의 기하적 구조는 고차원 공간에서 샘플링과 최적화를 어떻게 가속화할 수 있는가?
• RQ5 기하 원리와 변분 추론을 활용해 하이브리드 이산-연속 상태공간에서 능동적 추론을 어떻게 효율적으로 스케일링하고 구현할 수 있는가?

주요 결과

• 소산 해밀턴계를 위한 기하 적분기법은 수렴 속도와 안정성을 유지하며, 표준 경사 하강법을 초월한 가속 최적화를 가능하게 한다.
• 해밀턴 몬테카를로에 심플렉틱 적분기법을 적용하면 기저 위상공간의 구조를 유지하여 무작위 보행 행동을 감소시켜 더 효율적인 샘플링을 이룬다.
• 커널 스티븐 차이(КSD)와 최소 스티븐 차이 추정기는 힐버트 부분공간과 파oincaré 대칭성에 기반한 강건한 가능도 기반 추정 도구를 제공한다.
• 자유 에너지 최소화와 변분 추론을 통해 구현된 능동적 추론은 선형 계산 복잡도로 불확실성 하에서 순차적 의사결정을 수행할 수 있는 적응형 에이전트를 가능하게 한다.
• 능동적 추론에서의 역방향 계획과 몬테카를로 샘플링은 행동 시퀀스 길이에 따라 계산 복잡도를 지수적에서 선형으로 감소시켜 확장 가능한 의사결정을 가능하게 한다.
• 신경망은 변분 추론의 초기 조건을 제공하도록 훈련시킬 수 있으며, 이로 인해 고차원 추론 작업에서 계산 비용을 줄이면서도 정확도를 유지할 수 있다.