[논문 리뷰] Stochastic Particle Gradient Descent for Infinite Ensembles

Atsushi Nitanda, Taiji Suzuki|arXiv (Cornell University)|2017. 12. 14.

Stochastic Gradient Optimization Techniques참고 문헌 19인용 수 28

한 줄 요약

이 논문은 확률 측도 위에서 연속적으로 파arameter화된 기본 분류기의 조합을 최적화하는 데 사용되는 새로운 방법인 Stochastic Particle Gradient Descent (SPGD)를 제안한다. SPGD는 수송 맵을 사용하여 연속적으로 파arameter화된 기반 분류기의 확률 측도를 최적화함으로써 L¹ 및 비음성 제약 조건을 정확히 다루며, 조기 정지 없이도 수렴 속도가 유한차원 비볼록 확률적 최적화와 유사한 이론적 보장을 갖는다.

ABSTRACT

The superior performance of ensemble methods with infinite models are well known. Most of these methods are based on optimization problems in infinite-dimensional spaces with some regularization, for instance, boosting methods and convex neural networks use $L^1$-regularization with the non-negative constraint. However, due to the difficulty of handling $L^1$-regularization, these problems require early stopping or a rough approximation to solve it inexactly. In this paper, we propose a new ensemble learning method that performs in a space of probability measures, that is, our method can handle the $L^1$-constraint and the non-negative constraint in a rigorous way. Such an optimization is realized by proposing a general purpose stochastic optimization method for learning probability measures via parameterization using transport maps on base models. As a result of running the method, a transport map to output an infinite ensemble is obtained, which forms a residual-type network. From the perspective of functional gradient methods, we give a convergence rate as fast as that of a stochastic optimization method for finite dimensional nonconvex problems. Moreover, we show an interior optimality property of a local optimality condition used in our analysis.

연구 동기 및 목표

• 기존 앙상블 방법이 L¹ 제약 조건을 다루기 위해 조기 정지나 근사 정규화에 의존하는 한계를 해결하기 위해.
• 유한 조합이 아닌 확률 측도 위에서 최적화함으로써 무한 앙상블 학습을 위한 엄밀한 프레임워크를 개발하기 위해.
• 유한한 경우와 동일한 조건 하에서 무한 앙상블에 대해 수렴 보장과 일반화 경계를 제공하기 위해.
• L² 공간에서 수송 맵에 대한 기능적 경사 하강법 관점을 확립하여 연속적 파arameter화를 가능하게 하는 확률적 최적화를 가능하게 하기 위해.
• 연속 밀도를 갖는 확률 측도가 국소 최적성 조건 하에서 내부 최적성 성질을 만족하는 조건을 규명하기 위해.

제안 방법

• SPGD는 연속적으로 파arameter화된 기반 분류기 집합 위의 확률 측도 공간에서 최적화를 수행하여 L¹ 및 비음성 제약 조건을 정확히 다룬다.
• 이 방법은 각 맵 φ가 기본 측도 μ₀를 목표 측도 μ = φ♯μ₀로 변환하는 수송 맵을 사용하여 확률 측도를 파arameter화한다.
• 수치적 경사 하강 업데이트는 수송 맵 φ에 대해 φ⁺ ← φ + ξ∘φ 규칙을 통해 적용되며, 이는 경험 위험 경사 기반의 속도 장에 沿해 측도를 밀어내는 것과 대응한다.
• 이 업데이트는 L²(μ₀)에서 기능적 경사 하강법으로 해석되며, 손실 기능의 프레셰 도함수를 통해 기울기를 계산한다.
• 이 방법은 워샤르트 공간 P₂에서의 경사 유량을 이산화하여, 반복적인 수송 맵 업데이트를 통해 측도의 푸시포워드를 근사한다.
• 실용적인 두 가지 변형이 도입되었으며, 하나는 측도를 근사하기 위해 유한한 입자를 사용하는 것으로 잔차형 네트워크를 형성하고, 다른 하나는 재표본 추출 없이, 비가중치 투표 분류의 잘 초기화된 SGD와 동치이다.

실험 결과

연구 질문

• RQ1 무한 앙상블 학습은 확률 측도 공간에서 엄밀하게 제안되고 최적화될 수 있는가? 이는 근사 정규화나 조기 정지를 피할 수 있는가?
• RQ2 L¹ 제약 조건이 있는 무한차원 확률 측도 위에서 작동하는 확률적 최적화 방법의 수렴 속도는 어떠한가?
• RQ3 유한 앙상블의 일반화 경계는 어떻게 무한 앙상블으로 확장되며, 경험적 마진 분포를 감소시킴으로써 개선될 수 있는가?
• RQ4 수송 맵은 어떻게 무한 앙상블에서 기능적 경사 하강법을 가능하게 하는가? 이는 잔차형 네트워크와 어떤 관계가 있는가?
• RQ5 연속 밀도를 갖는 확률 측도가 어떤 조건에서 국소 최적성을 달성하며, 어떤 내부 최적성 성질을 만족하는가?

주요 결과

• SPGD는 무한차원 확률 측도 공간에서 작동하지만, 유한차원 비볼록 최적화 문제에서의 수렴 속도와 유사한 속도를 달성한다.
• 이 방법은 유한하거나 가산 앙상블과 거의 동일한 일반화 경계를 제공하며, 경험적 마진 분포 감소가 향상된다.
• 연속 밀도를 갖는 확률 측도에 대한 국소 최적성 조건은 내부 최적성 성질을 유도함을 보여주며, 이는 적절한 가정 하에 해당 측도가 자신의 지지 집합 내에서 최적이 되도록 한다.
• 수송 맵 업데이트 규칙 φ⁺ ← φ + ξ∘φ는 워샤르트 공간에서의 경사 유량을 자연스럽게 이산화하며, 이는 연속 시간 역학과 연결된다.
• SPGD의 유한 입자 근사는 잔차형 신경망을 형성하며, 이는 방법의 딥 러닝 해석을 제공한다.
• 재표본 추출 없이 사용하는 SPGD의 변형은 비가중치 투표 분류의 잘 초기화된 SGD와 동치임을 입증하여, 기존의 앙상블 방법과 새로운 프레임워크를 연결한다.