[논문 리뷰] Limited-Memory Matrix Adaptation for Large Scale Black-box Optimization

Ilya Loshchilov, Tobias Glasmachers외 1명|arXiv (Cornell University)|2017. 05. 18.

Stochastic Gradient Optimization Techniques참고 문헌 24인용 수 9

한 줄 요약

이 논문은 차원 수에 따라 시간과 공간 복잡도가 O(n²)에서 O(n log n)으로 감소하는 제한된 메모리 근사치를 활용해 변환 행렬의 복잡도를 줄이는, 제한된 메모리 행렬 적응 진화 전략(LM-MA-ES)을 소개한다. 이는 행렬 적응 진화 전략(MA-ES)의 시간과 공간 복잡도를 감소시키는 알고리즘으로, 대규모 블랙박스 최적화 벤치마크에서 최신 기술 수준의 성능을 달성하며, 랜덤 포레스트 분류기의 적대적 예제 생성에도 강력한 효과를 보인다.

ABSTRACT

The Covariance Matrix Adaptation Evolution Strategy (CMA-ES) is a popular method to deal with nonconvex and/or stochastic optimization problems when the gradient information is not available. Being based on the CMA-ES, the recently proposed Matrix Adaptation Evolution Strategy (MA-ES) provides a rather surprising result that the covariance matrix and all associated operations (e.g., potentially unstable eigendecomposition) can be replaced in the CMA-ES by a updated transformation matrix without any loss of performance. In order to further simplify MA-ES and reduce its $\mathcal{O}\big(n^2\big)$ time and storage complexity to $\mathcal{O}\big(n\log(n)\big)$, we present the Limited-Memory Matrix Adaptation Evolution Strategy (LM-MA-ES) for efficient zeroth order large-scale optimization. The algorithm demonstrates state-of-the-art performance on a set of established large-scale benchmarks. We explore the algorithm on the problem of generating adversarial inputs for a (non-smooth) random forest classifier, demonstrating a surprising vulnerability of the classifier.

연구 동기 및 목표

• 대규모 블랙박스 최적화에 있어 차원 수에 따라 제곱적으로 증가하는 복잡도를 가지는 MA-ES의 높은 계산 비용을 해결하기 위함.
• 성능과 단순성은 유지하면서 MA-ES의 시간 및 공간 복잡도를 O(n²)에서 O(n log n)으로 감소시키기 위함.
• 제한된 메모리 구조를 사용해 전체 전이 행렬을 근사화함으로써 고차원 공간에서의 효율적 최적화를 가능하게 하기 위함.
• 표준 대규모 벤치마크와 적대적 기계 학습 환경에서 알고리즘의 성능 평가하기 위함.
• 제로번째 순서 최적화를 통해 랜덤 포레스트 분류기의 실질적 취약성 탐구하기 위함.

제안 방법

• MA-ES의 전체 전이 행렬을 최근 m개의 업데이트 벡터를 사용한 저질서 근사치로 대체하여 저장 및 계산 비용을 감소시킴.
• 랭크-μ 재결합 및 자기 적응적 단계 크기 제어를 포함한 MA-ES의 핵심 업데이트 메커니즘을 유지하나, 제한된 메모리 표현에 적용함.
• 최근 m개의 업데이트 벡터에 대한 QR 분해를 통해 전이 행렬을 암묵적으로 유지함으로써 O(n log n) 시간 내에 행렬-벡터 곱을 효율적으로 수행함.
• LM-CMA-ES에서 유래한 L-BFGS 유사 메모리 관리 전략을 활용해 확장 가능한 변수 메트릭 최적화 달성함.
• 랭크-μ 재결합 기법을 사용해 평균과 단계 크기를 업데이트함으로써, 불량 조건 문제에서의 수렴성과 성능 확보함.
• 전이 행렬의 압축된 표현을 사용해 MA-ES와 동일한 샘플링 메커니즘을 적용함으로써 알고리즘의 불변성과 강건성을 유지함.

실험 결과

연구 질문

• RQ1 MA-ES의 O(n²) 복잡도를 대규모 블랙박스 최적화 문제에서 성능을 손상시키지 않고 O(n log n)으로 감소시킬 수 있는가?
• RQ2 전이 행렬의 제한된 메모리 근사치가 고차원 공간에서 수렴 속도와 해 품질에 어떤 영향을 미치는가?
• RQ3 LM-MA-ES는 랜덤 포레스트와 같이 미분 가능성이 없는 모델에 대해 효과적으로 적대적 예제를 생성할 수 있으며, 이는 그들의 강건성에 대한 통찰을 제공하는가?
• RQ4 목표 함수 평가 효율성과 해 품질 측면에서 LM-MA-ES는 표준 MA-ES 및 기타 대규모 최적화기와 비교해 어떻게 성능을 냈는가?
• RQ5 메모리 근사치의 저질서 구조는 고차원 탐색 공간에서 더 큰 학습률과 더 빠른 적응을 가능하게 하는가?

주요 결과

• LM-MA-ES는 랩탑에서 MA-ES 대비 3.5배 빠른 성능을 보였으며, 9721개의 적대적 예제 생성 작업을 약 2시간 내에 완료한 반면, MA-ES는 약 7시간이 소요됨.
• LM-MA-ES는 총 9,721개의 테스트 이미지 중 6,321개에 대해 적대적 입력을 성공적으로 생성했으며, MA-ES(6,152건)보다 略적으로 뛰어남.
• 같은 평가 예산 내에서 LM-MA-ES는 MA-ES보다 7,171건에서 더 낮은 목표 함수 값을 달성했으며, 이는 더 뛰어난 해 품질을 의미함.
• 가장 쉬운 문제들에서는 LM-MA-ES가 더 빠른 수렴을 보였고, MA-ES는 함수 평가 수가 제한되어 정체됨. 이는 저질서 구조가 더 큰 학습률을 가능하게 하여 유리함을 보여 줌.
• 적대적 예제의 차이 이미지 분석 결과, LM-MA-ES는 등방성 노이즈를 적용한 순수한 ES와 달리 의미 있는 저차원 부분공간을 식별한 것으로 나타남.
• LM-MA-ES와 MA-ES 간의 성능 격차는 LM-MA-ES가 전체 784×784 행렬 대신 log(n) 기반으로 상위 23개 방향만 적응시킬 수 있었기 때문에 발생하며, 이는 더 빠르고 효과적인 학습을 가능하게 함.