[논문 리뷰] Bandit-Based Random Mutation Hill-Climbing

Jialin Liu, Diego Pérez-Liébana외 1명|arXiv (Cornell University)|2016. 06. 20.

Advanced Bandit Algorithms Research참고 문헌 21인용 수 3

한 줄 요약

이 논문은 탐색과 이용의 균형을 이루기 위해 무작위 이웃 선택 대신 다수의 손잡이 기반 선택 유닛을 사용하는 밴딧 기반 랜덤 변형 강하법(RMHC) 알고리즘을 제안한다. 이는 노이즈가 있는 OneMax 및 루이얼 로드 문제에서 표준 RMHC보다 뚜렷이 뛰어나며, 특히 2로 설정된 재표본 수를 사용할 경우 최대 10배까지 적은 피트니스 평가 횟수를 기록한다. 문제 크기와 선형적으로 스케일링된다.

ABSTRACT

The Random Mutation Hill-Climbing algorithm is a direct search technique mostly used in discrete domains. It repeats the process of randomly selecting a neighbour of a best-so-far solution and accepts the neighbour if it is better than or equal to it. In this work, we propose to use a novel method to select the neighbour solution using a set of independent multi- armed bandit-style selection units which results in a bandit-based Random Mutation Hill-Climbing algorithm. The new algorithm significantly outperforms Random Mutation Hill-Climbing in both OneMax (in noise-free and noisy cases) and Royal Road problems (in the noise-free case). The algorithm shows particular promise for discrete optimisation problems where each fitness evaluation is expensive.

연구 동기 및 목표

• 피트니스 평가가 비용이 많이 드는 노이즈가 있는 복잡한 이산 최적화 문제에서 표준 RMHC의 비효율성을 해결하기 위해.
• 다수의 손잡이 선택 메커니즘을 통합하여 강하법의 탐색-이용 균형을 향상시키기 위해.
• 노이즈 또는 불확실한 피트니스 평가가 있는 실세계 적용에 적합한 확장 가능하고 강건한 최적화 방법을 개발하기 위해.
• 표준 벤치마크 문제, 특히 OneMax 및 루이얼 로드 함수에 대해 밴딧 기반 RMHC의 성능을 평가하기 위해.
• 밴딧 기반 선택이 랜덤 이웃 선택에 비해 수렴 속도를 높이고 평가 오버헤드를 줄이는 데 기여함을 입증하기 위해.

제안 방법

• 이 알고리즘은 이진 문자열의 각 유전자를 2손잡이 기반 밴딧으로 모델링하며, 손잡이들은 비트를 0 또는 1로 뒤집는 것을 의미한다.
• 상한 신뢰도(UCB) 알고리즘을 사용하여 다음 이웃을 선택하며, 급박도 항을 통해 탐색과 이용을 균형 잡는다.
• 피트니스 평가는 각 유전자별로 저장 및 갱신되며, 평가의 노이즈를 완화하기 위해 재표본을 사용한다.
• 최고의 이전 해를 유지하며, 각 변형에서의 피트니스 향상에 따라 밴딧 유닛을 갱신한다.
• 알고리즘은 UCB 탐색 항을 통해 유망한 유전자 값에 우선순위를 두며, 동시에 미충분하게 표본화된 옵션을 탐색한다.
• 알고리즘은 다양한 문제 차원과 블록 크기를 가진 OneMax 및 루이얼 로드 문제에 적용된다.

실험 결과

연구 질문

• RQ1 밴딧 기반 선택 메커니즘이 노이즈가 있고 복잡한 이산 최적화 문제에서 랜덤 변형 강하법의 성능을 향상시킬 수 있는가?
• RQ2 OneMax 및 루이얼 로드 함수에서 밴딧 기반 RMHC는 표준 RMHC에 비해 피트니스 평가 효율성 측면에서 어떻게 비교되는가?
• RQ3 노이즈 환경에서 밴딧 기반 RMHC에 가장 적합한 재표본 수는 무엇이며, 수렴에 어떤 영향을 미치는가?
• RQ4 밴딧 기반 접근법은 문제 차원에 대해 선형적으로 스케일링되는가? 또한, 신용 할당에서 지연된 피트니스 보상은 어떻게 처리하는가?
• RQ5 밴딧 메커니즘이 최적해에 도달하기 위해 필요한 피트니스 평가 횟수를 줄일 수 있는가, 특히 노이즈가 있는 환경에서?

주요 결과

• 밴딧 기반 RMHC는 노이즈가 있는 OneMax 문제에서 표준 RMHC 대비 최대 10배까지 피트니스 평가 횟수를 줄였다.
• 재표본 수가 2일 경우, OneMax 및 루이얼 로드 문제에서 전체 피트니스 평가 횟수가 문제 차원과 거의 선형적으로 증가했다.
• 8x8 루이얼 로드 문제에서, 밴딧 기반 RMHC는 믹셀 등이 보고한 가장 효율적인 RMHC 변종보다 절반 이하의 함수 평가 횟수만을 사용했다.
• 알고리즘은 다양한 문제 크기와 블록 구성에서 안정된 성능을 유지하였으며, 노이즈 없는 환경과 노이즈가 있는 환경 모두에서 표준 RMHC를 능가했다.
• UCB 기반 선택 메커니즘은 탐색과 이용을 효과적으로 균형 잡아, 노이즈 환경에서도 조기 수렴을 방지했다.
• 밴딧 기반 선택에서는 평균 피트니스 평가 횟수와 문제 차원의 비율이 안정되었지만, 표준 RMHC는 재표본 수가 작은 경우 비율이 증가하는 경향을 보였다.