[논문 리뷰] Human Behavior Algorithms for Highly Efficient Global Optimization

Da-Zheng Feng, Han-Zhe Feng외 1명|arXiv (Cornell University)|2015. 07. 14.

Metaheuristic Optimization Algorithms Research참고 문헌 21인용 수 7

한 줄 요약

이 논문은 인간의 의사결정 방식을 영감으로 삼아 국소 최소값에서 벗어나기 위해 내림내림(다운힐) 및 오르막(업힐) 전략을 번갈아 사용하는 새로운 전역 최적화 방법인 인간 행동 알고리즘(HBA)을 제안한다. 이 방법은 벤치마크 문제들에서 전역 최소값을 찾는 데 있어 높은 효율성과 효과성을 보이며, 전통적인 국소 및 무작위 탐색 방법보다 뛰어나다.

ABSTRACT

The global optimization have the very extensive applications in econometrics, science and engineering. However, the global optimization for non-convex objective functions is particularly difficult since most of the existing global optimization methods depend on the local linear search algorithms that easily traps into a local point, or the random search strategies that may frequently not produce good off-springs. According to human behavior, a one-dimensional global search method in the global optimization should adopt alternating descent and ascent (up-hill and down hill) strategies. This paper proposes the human behavior algorithms (HBA) based on alternating descent and ascent approaches along a direction or multiple different directions. Very fortunately, the proposed HBA make a global optimization method have high possibility for finding a global minimum point. Several benchmark experiments test that our HBA are highly effective for solving some benchmark optimization problems.

연구 동기 및 목표

• 비볼록 함수에서의 전역 최적화 문제를 해결하기 위해, 기존 방법들이 국소 최소값에 갇히는 데서 비롯되는 과제를 해결하기 위해.
• 특히 탐색(오르막)과 이용(내림내림)의 번갈아 사용을 반영하는 인간 행동 패턴을 모방하는 전역 최적화 알고리즘을 개발하기 위해.
• 인간 행동에서 영감을 얻은 방향성 탐색 전략을 통합하여 탐색 효율성과 전역 최소값 수렴 속도를 향상시키기 위해.
• 기본 벤치마크 문제에 대해 제안된 방법을 검증하고, 전통적인 국소 및 무작위 탐색 기법들에 비해 우월성을 입증하기 위해.

제안 방법

• HBA 프레임워크는 한 개 또는 여러 개의 탐색 방향을 따라 내림내림과 오르막 단계를 번갈아 사용하여 해 공간을 더 효과적으로 탐색한다.
• 각 반복마다, 알고리즘은 목적 함수를 국소적으로 최소화하기 위한 내림내림 단계를 수행한 후, 국소 최소값에서 벗어나기 위한 오르막 단계를 수행한다.
• 진전이 멈출 경우를 대비해 인간과 유사한 의사결정 규칙에 따라 탐색 방향을 적응적으로 업데이트한다.
• 지역 개선과 전역 다양화를 결합한 방향성 탐색 전략을 사용하여 전역 최적해 수렴을 향상시킨다.
• 전역 최소값을 식별할 가능성을 높이기 위해 복수의 방향을 동시에 또는 순차적으로 탐색한다.
• 수렴 임계값과 사전 정의된 최대 반복 횟수에 기반한 정지 기준을 알고리즘에 통합한다.

실험 결과

연구 질문

• RQ1 인간을 영감으로 삼은 내림내림과 오르막 전략의 번갈아 사용이 비볼록 문제에서의 전역 최적화 성능을 향상시킬 수 있는가?
• RQ2 HBA 방법은 전통적인 국소 및 무작위 탐색 알고리즘과 비교해 수렴 속도와 해 품질 측면에서 어떻게 다른가?
• RQ3 방향성의 번갈아 사용이 국소 최소값에서 벗어나 전역 최소값을 찾는 능력을 얼마나 향상시킬 수 있는가?
• RQ4 다양한 탐색 방향을 사용할 경우 최적화 과정의 안정성과 효율성에 어떤 영향을 미치는가?

주요 결과

• HBA 방법은 테스트된 모든 기준 벤치마크 최적화 문제에서 전역 최소값을 성공적으로 찾았으며, 높은 신뢰성을 보였다.
• 표준 국소 및 무작위 탐색 방법에 비해 더 빠른 수렴 속도와 더 높은 성공률을 보였다.
• 내림내림-오르막 메커니즘이 조기 수렴을 일으킬 가능성을 크게 감소시켰다.
• 다양한 탐색 방향의 사용은 탐색 능력을 향상시키고 최적화 과정의 안정성을 향상시켰다.
• 실험 결과, 표준 테스트 함수에서 HBA는 해 품질과 계산 효율성 측면에서 기존 방법들을 능가하는 것으로 나타났다.