[논문 리뷰] Cross-Entropy method: convergence issues for extended implementation

F Dambreville|arXiv (Cornell University)|2006. 09. 16.

Probabilistic and Robust Engineering Design참고 문헌 5인용 수 10

한 줄 요약

이 논문은 확률적 최적화 및 약한 모델 가족을 사용할 때 교차 엔트로피(CE) 방법의 수렴 실패를 조사한다. 수렴성과 정확도를 향상시키기 위해 분위수 기반 선택 대신 목적 함수 값에 기반한 가중치 샘플링을 사용하는 스무스 선택 기법을 제안한다. 무작위 테스트를 통해 이 변종이 표준 CE 및 기대값 기반 CE보다 안정성과 정확도 면에서 뛰어나 99.1%의 전역 최적해를 달성함을 입증한다.

ABSTRACT

The cross-entropy method (CE) developed by R. Rubinstein is an elegant practical principle for simulating rare events. The method approximates the probability of the rare event by means of a family of probabilistic models. The method has been extended to optimization, by considering an optimal event as a rare event. CE works rather good when dealing with deterministic function optimization. Now, it appears that two conditions are needed for a good convergence of the method. First, it is necessary to have a family of models sufficiently flexible for discriminating the optimal events. Indirectly, it appears also that the function to be optimized should be deterministic. The purpose of this paper is to consider the case of partially discriminating model family, and of stochastic functions. It will be shown on simple examples that the CE could fail when relaxing these hypotheses. Alternative improvements of the CE method are investigated and compared on random examples in order to handle this issue.

연구 동기 및 목표

• 확률적 목적 함수 또는 닫혀 있지 않은 모델 가족에 적용된 교차 엔트로피(CE) 방법에서의 수렴 실패 원인을 규명하고 분석하는 것.
• 모델 가족이 최적해를 표현할 수 없는 경우(예: 최적점에서 Dirac 델타를 포함하지 않는 경우) 표준 CE의 한계를 조사하는 것.
• 비결정적 및 표현력이 낮은 환경에서 CE 수렴을 향상시키기 위한 대안적 선택 기법을 평가하는 것.
• 무작위로 생성된 확률적 최적화 문제에서 기본 CE, 기대값 기반 CE, 스무스 선택 CE의 성능을 비교하는 것.
• 스무스 선택 기법이 확률적 및 표현력이 낙제된 최적화 시나리오를 다루는 데 실용적인 대안으로서의 타당성을 실증적으로 검증하는 것.

제안 방법

• 표준 분위수 기반 선택을 대체하기 위해 목적 함수 값 $ v_n = V(d_n, x_n) $ 에 기반한 가중치를 부여하는 스무스 선택 기법을 제안한다.
• 가중치 기반 교차 엔트로피 업데이트를 사용한다: $ h \triangleq \arg\max_h \sum_{n=1}^N R(v_n) \ln h(d_n) $, 여기서 $ R(v_n) = v_n $ 이며, 매개변수화된 분포 $ h $ 를 업데이트한다.
• 랜덤화된 테스트 설정을 사용한다: $ d $ 와 $ x $ 에 대해 100개의 상태, $ V(d,x) \in (0,1] $ 으로 균일하게 무작위로 설정하고, 균일한 사전분포 $ p $ 를 사용하여 전역 최적해의 철저한 평가를 가능하게 한다.
• 반복 간 매개변수 업데이트를 안정화하기 위해 $ \alpha = 0.9 $ 를 사용하는 스무스 업데이트 규칙을 구현한다.
• 세 가지 방법을 비교한다: (1) 분위수 선택을 사용하는 기본 CE, (2) $ K=100 $ 개의 샘플을 기반으로 $ \mathbb{E}[V] $ 를 추정하는 기대값 기반 CE, (3) $ R(v_n) = v_n $ 를 사용하는 스무스 선택 CE.
• 각 반복에 대해 $ N = 100 $ 개의 샘플을 사용하고, $ \rho = 10\% $ 를 설정하며, 성능의 평균과 분산을 구하기 위해 1000회의 독립 시험을 수행한다.

실험 결과

연구 질문

• RQ1 목적 함수가 확률적일 경우, 즉 $ f(x) $ 가 랜덤 변수일 경우, 고전적 CE 알고리즘이 신뢰성 있게 수렴하는가?
• RQ2 알고리즘에서 사용하는 모델 가정이 최적해를 표현할 수 없는 경우(예: 최적점에서 Dirac 델타를 포함하지 않는 경우), CE 수렴에는 어떤 일이 발생하는가?
• RQ3 목적 함수 값에 따라 샘플에 가중치를 부여하는 스무스 선택 기법이 표준 분위수 기반 선택보다 확률적 또는 표현력이 낮은 환경에서 수렴을 향상시킬 수 있는가?
• RQ4 기대값 기반 CE와 스무스 선택 CE의 성능 및 안정성은 전역 최적해 수렴 측면에서 어떻게 비교되는가?
• RQ5 스무스 선택 기법은 모델 가정의 제약과 확률성에 대해 강건한가? 이러한 조건 하에서 수렴이 증명될 수 있는가?

주요 결과

• 목적 함수가 확률적일 경우 표준 CE 방법은 선택 단계에서 기대 보상의 추정이 열악하여 신뢰성 있게 수렴하지 못한다.
• 모델 가정이 최적해를 표현할 수 없는 경우(예: 최적점에서 Dirac 델타를 표현할 수 없는 경우), CE는 부분적으로 최적해에 수렴하는 확률적 근사치에 수렴한다.
• 목적 함수 값 $ v_n $ 에 따라 샘플에 가중치를 부여하는 스무스 선택 기법은 표준 CE에 비해 수렴 성능을 크게 향상시킨다.
• 1000개의 무작위 테스트 인스턴스에서 스무스 선택 CE는 전역 최적해의 평균 99.1%를 달성했으며 분산은 0.7%였다. 이는 기본 CE(평균 93.9%, 분산 3.7%)보다 뛰어났다.
• 기대값 기반 CE는 평균 성능 99.0%를 기록했고 분산은 0.4%로 낮았지만, 후보 각각에 대해 반복적인 샘플링이 필요하여 계산 비용이 높았다.
• 스무스 선택 CE는 기대값 기반 CE와 유사한 수렴 속도를 보였지만 계산 비용을 줄여 확률적 문제에 더 효율적인 대안이 되었다.