[논문 리뷰] Online variants of the cross-entropy method

István Szita, András Lörincz|ArXiv.org|2008. 01. 14.

Theoretical and Computational Physics참고 문헌 2인용 수 15

한 줄 요약

이 논문은 조합 최적화를 위한 두 가지 온라인 버전의 교차 엔트로피 방법(Cross-Entropy Method, CEM)을 제안한다. 여기서 매개변수 갱신은 전체 집단을 모두 추출한 후가 아니라 각 샘플 이후에 점진적으로 수행된다. 저자들은 시간에 따라 변하지 않는 분포 조건 하에서 전역 최적해로의 거의 확실한 수렴을 증명하며, 배치 CEM의 이론적 보장을 온라인 설정으로 확장한다.

ABSTRACT

The cross-entropy method is a simple but efficient method for global optimization. In this paper we provide two online variants of the basic CEM, together with a proof of convergence.

연구 동기 및 목표

• 모든 집단을 추출한 후가 아니라 각 샘플 이후에 점진적으로 매개변수를 갱신하는 온라인 CEM 변종을 개발한다.
• 배치 버전과 동일한 조건 하에서 이러한 온라인 CEM 알고리즘의 이론적 수렴 보장을 확립한다.
• 배치 정렬과 윈도우 기반 역사 정보를 점진적 갱신 또는 메모리 없는 샘플링으로 대체하여 메모리 및 계산 오버헤드를 줄인다.
• 각 단계에서 전체 집단 지식이 없음에도 불구하고 온라인 CEM이 전역 최적해로 수렴함을 보여준다.

제안 방법

• 첫 번째 온라인 변종은 크기 $N$의 슬라이딩 윈도우를 사용하여 최근 $N$개의 샘플을 유지하며, 동적으로 윈도우 내에서 $\lceil \rho N \rceil$-번째로 높은 적합도 값으로 엘리트 임계값 $\gamma_{t+1}$를 계산한다.
• 각 샘플 이후에, 샘플이 현재 윈도우의 상위 $\rho$-백분위수에 속하는지 확인한다; 만약 그렇다면, 단계 크기 $\alpha_1 = \alpha / \lceil \rho N \rceil$ 를 사용하여 온라인 갱신을 수행한다.
• 매개변수 갱신 규칙은 $\mathbf{p}_{t+1} = (1 - \alpha_1) \mathbf{p}_t + \alpha_1 \mathbf{x}^{(t)}$ 이며, 샘플이 엘리트일 경우에만 적용되어 점진적 적응을 보장한다.
• 메모리 없는 변종은 과거 샘플을 저장할 필요 없이 고정된 임계값 갱신 규칙을 사용하여, 매 단계에서 엘리트 임계값을 일정한 값 $\rho \Delta$ 만큼 감소시켜, 최종적으로 모든 비최적 해의 최소 적합도 값 이하로 떨어지게 하여 엘리트 샘플을 강제로 탐지한다.
• 이론적 분석은 재귀적 확률 경계를 사용하여, 적절한 단계 크기 조건 하에서 시간 $T$까지 최적 해를 샘플링하지 않은 확률이 $T$에 대해 지수적으로 감소함을 보여준다.
• 수렴은 매개변수 갱신 횟수가 거의 확실하게 무한히 많고, 매개변수 벡터가 결국 부호 변화를 멈추며 확률 1로 0 또는 1로 수렴함을 보여줌으로써 증명된다.

실험 결과

연구 질문

• RQ1 배치 교차 엔트로피 방법을 전역 수렴 보장 없이도 온라인 및 점진적 학습 프레임워크로 변형할 수 있는가?
• RQ2 제한된 메모리와 일정한 샘플당 시간 복잡도 조건 하에서 온라인 설정에서 엘리트 임계값을 어떻게 동적으로 계산할 수 있는가?
• RQ3 슬라이딩 윈도우 기반의 부분적 과거 샘플 정보에 기반한 온라인 CEM 변종도 거의 확실하게 전역 최적해로 수렴하는가?
• RQ4 수렴 성질을 유지하면서 메모리 의존성을 제거하기 위해 어떤 수정이 필요한가?
• RQ5 메모리 없는 변종에서 고정된 감소량을 사용한 엘리트 임계값 갱신 방식이 슬라이딩 윈도우 방식에 비해 수렴에 어떤 영향을 미치는가?

주요 결과

• 슬라이딩 윈도우를 사용한 온라인 CEM은 거의 확실하게 전역 최적해로 수렴한다. 이는 최적 해를 샘플링하지 않은 확률이 시간에 따라 지수적으로 감소하기 때문이다.
• 메모리 없는 온라인 CEM 변종 역시 거의 확실하게 수렴한다. 엘리트 임계값이 결국 모든 비최적 해의 최소 적합도 값 이하로 떨어지기 때문에, 엘리트 샘플이 강제로 탐지되기 때문이다.
• 매개변수 갱신 횟수는 거의 확실하게 무한히 많으며, 이는 알고리즘이 무한정으로 분포 매개변수를 정밀하게 개선함을 보장한다.
• 매개변수 벡터 $\mathbf{p}_t$ 는 각 성분에 대해 확률 1로 0 또는 1로 수렴하며, 이는 결정론적 해로의 수렴을 의미한다.
• 수렴 속도는 단계 크기 $\alpha_1$ 에 따라 달라지며, $\alpha_1$ 이 작을수록 최적 해를 찾지 못한 확률이 더 빠르게 감소한다.
• 이론적 프레임워크는 배치 CEM의 수렴 증명을 온라인 설정으로 확장하여, 점진적 갱신이 방법의 전역 최적화 성질을 유지함을 입증한다.