[논문 리뷰] A Linear Time Natural Evolution Strategy for Non-Separable Functions

Yi Sun, Faustino Gomez외 2명|arXiv (Cornell University)|2011. 06. 10.

Neural Networks and Applications참고 문헌 14인용 수 7

한 줄 요약

이 논문은 선형 시간 자연 진화 전략인 랭크-원 NES(R1-NES)를 소개한다. 이는 저랭크 공분산 행렬 파arameterization(C = σ²(I + uuᵀ))을 사용하여 O(d) 시간 내에 효율적인 자연 기울기 계산을 가능하게 한다. 이는 고차원 비분리 문제에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전에는 계산 비용으로 인해 처리가 불가능했던 512차원 Rosenbrock 함수를 해결한다.

ABSTRACT

We present a novel Natural Evolution Strategy (NES) variant, the Rank-One NES (R1-NES), which uses a low rank approximation of the search distribution covariance matrix. The algorithm allows computation of the natural gradient with cost linear in the dimensionality of the parameter space, and excels in solving high-dimensional non-separable problems, including the best result to date on the Rosenbrock function (512 dimensions).

연구 동기 및 목표

• 고차원 공간에서 전체 공분산 자연 진화 전략의 높은 계산 비용을 해결하기 위해.
• O(d²)에서 O(d)로 파rameter 수를 감소시키면서도 애핀 변환에 대한 불변성을 유지하기 위해.
• Rosenbrock 함수와 같은 비분리적이고 불량한 조건을 가진 문제를 고차원에서 효과적으로 최적화하기 위해.
• xNES와 CMA-ES의 대체 방법으로서 성능를 유지하면서도 세제곱 비용 스케일링을 피할 수 있는 확장 가능한 방법을 개발하기 위해.

제안 방법

• 검색 분포의 공분산을 C = σ²(I + uuᵀ)로 파arameterization하며, 여기서 u는 단일 주요 고유벡터이고 σ는 척도 요소이다.
• 자연 기울기를 사용하여 파arameter 업데이트를 수행하며, 피셔 정보 메트릭을 활용하여 안정적이고 효율적인 최적화를 보장한다.
• 헤시안 근사의 저랭크 구조를 활용하여 자연 기울기 계산을 위한 O(d) 알고리즘을 유도한다.
• 로컬 곡률에 적응하는 단일 주요 방향 u를 유지함으로써, 비분리 문제의 구조에 맞추어 정렬할 수 있도록 한다.
• 적절한 행렬 항등식을 사용하여 효율적으로 역 피셔 정보를 계산하고, 적절한 자연 기울기 보정을 적용하기 위해 적절한 적분 기반의 기울기 추정을 사용한다.
• 각 반복에서 방향 u와 척도 σ를 선형 시간 내에 최적화할 수 있도록 랭크-일치 업데이트 규칙을 구현한다.

실험 결과

연구 질문

• RQ1 저랭크 공분산 파arameterization이 전체 공분산 NES의 성능를 유지하면서도 차원에 대해 선형적으로 확장될 수 있는가?
• RQ2 R1-NES 알고리즘이 비분리적이고 불량한 조건을 가진 문제에서 대각선 및 전체 공분산 NES 변종보다 뛰어난 성능를 보일 수 있는가?
• RQ3 R1-NES는 전체 공분산 방법이 계산적으로 금기인 고차원 비분리 문제, 예를 들어 512차원 Rosenbrock 함수를 해결할 수 있는가?
• RQ4 xNES와 SNES와의 비교에서 R1-NES의 성능는 단일 최적화 및 다중 최적화 벤치마크에서 어떻게 나타나는가?

주요 결과

• R1-NES는 512차원 Rosenbrock 함수에서 이전 방법이 계산 비용으로 인해 실패하는 상황에서도 안정적으로 해결하여 최고의 기록 성능를 달성한다.
• 알고리즘은 차원에 대해 선형적으로 확장되며, 512차원 문제에서 각 실행에 단 몇 분 내로 처리 가능하지만, 동일한 하드웨어에서 xNES는 이 문제를 처리하는 데 1년 이상 소요된다.
• 단일 최적화 벤치마크에서는 64차원까지 xNES와 유사한 성능를 보이며, 계산 시간은 극적으로 감소한다.
• 비분리 함수에서 R1-NES는 SNES를 능가하며, SNES는 대각선 공분산만을 허용하기 때문에 이를 처리할 수 없다.
• 자기 주요 곡률 방향이 여러 개인 문제, 예를 들어 타원체 함수와 납작한 판 함수에서는 랭크-일치 파arameterization의 단일 방향 제한성으로 인해 실패한다.
• 실험 결과, 소시지 함수에서 λ는 시간이 지남에 따라 선형적으로 감소함을 보이며, 이는 비주요 방향의 지수 감소를 나타내며, c는 log(1000)에 안정화되며 이는 함수의 헤시안과 일치한다.