[논문 리뷰] Learning to Optimize in Swarms

Yue Cao, Tianlong Chen외 2명|PubMed|2019. 11. 09.

Stochastic Gradient Optimization Techniques참고 문헌 27인용 수 14

한 줄 요약

이 논문은 샘플 수준 및 특징 수준의 어텐션을 갖춘 LSTMs 집단을 사용하여 입자 집단의 업데이트 규칙을 동시에 학습하는 메타-최적화기인 LOIS (Learning to Optimize in Swarms)를 제안한다. 메타-손실에 사후 엔트로피를 통합하여 탐색-이용 균형을 향상시켜 비볼록 함수와 단백질 도킹 작업에서 기존 방법들을 능가한다.

ABSTRACT

Learning to optimize has emerged as a powerful framework for various optimization and machine learning tasks. Current such "meta-optimizers" often learn in the space of continuous optimization algorithms that are point-based and uncertainty-unaware. To overcome the limitations, we propose a meta-optimizer that learns in the algorithmic space of both point-based and population-based optimization algorithms. The meta-optimizer targets at a meta-loss function consisting of both cumulative regret and entropy. Specifically, we learn and interpret the update formula through a population of LSTMs embedded with sample- and feature-level attentions. Meanwhile, we estimate the posterior directly over the global optimum and use an uncertainty measure to help guide the learning process. Empirical results over non-convex test functions and the protein-docking application demonstrate that this new meta-optimizer outperforms existing competitors. The codes are publicly available at: https://github.com/Shen-Lab/LOIS.

연구 동기 및 목표

• 기존 메타-최적화기가 오직 포인트 기반 알고리즘 공간에서만 학습하는 데서 비롯하는 한계를 해결하고, PSO와 같은 강력한 집단 기반 방법을 배제하지 않도록 한다.
• 메타-손실 함수에서 과도한 이용을 방지하기 위해 전역 최적값에 대한 사후 분포의 미분 엔트로피를 통합하여 탐색과 이용의 균형을 맞춘다.
• 입자 집단의 LSTMs 내에서 샘플 수준 및 특징 수준의 어텐션 메커니즘을 통해 학습된 최적화 전략의 해석 가능성을 보장한다.
• 공유되고 적응 가능한 업데이트 규칙을 함께 모델링함으로써 메타-학습을 집단 기반 최적화로 확장한다.
• 비용이 많이 들고 비틀린 에너지 함수를 갖는 어려운 고차원 비볼록 문제, 특히 아비니티 단백질 도킹 문제에서 뛰어난 성능을 입증한다.

제안 방법

• 입자 집단의 반복적 업데이트 규칙을 동시에 학습하기 위해 LSTMs 집단을 훈련하여 각 입자의 상태와 입자 간 관계를 모델링한다.
• 각 입자의 상태 내에서 특징 수준의 중요도를 가중치로 평가하기 위해 내부 입자 어テン션을 통합하고, 집단 전반의 관계를 모델링하기 위해 입자 간 어텐션을 적용한다.
• 메타-손실을 전역 최적값에 대한 사후 분포의 미분 엔트로피와 누적 손실의 가중합으로 설정한다.
• 신경망을 사용해 최적화 경로에서 직접 전역 최적값에 대한 사후 분포를 추정함으로써 불확실성 인식 학습을 가능하게 한다.
• 기록된 이력 상태, 기울기, 함수 값의 기억을 유지하기 위해 순환 구조(LSTM)를 사용하여 적응형 업데이트 결정을 가능하게 한다.
• 다양한 목적 함수의 분포(예: Rastrigin 함수)에서 엔드 투 엔드로 메타-최적화기를 훈련시켜 다양한 목적 함수의 형태에 일반화할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 비볼록 함수의 분포에서 훈련된 메타-최적화기가 실제 고차원 최적화 과제인 단백질 도킹에 일반화될 수 있는가?
• RQ2 메타-손실에 사후 엔트로피를 통합함으로써 집단 기반 최적화에서 탐색과 이용의 균형이 향상되는가?
• RQ3 샘플 수준 및 특징 수준의 어텐션 메커니즘이 학습된 최적화 전략의 성능 향상과 해석 가능성에 얼마나 기여하는가?
• RQ4 포인트 기반 알고리즘과 집단 기반 알고리즘의 병합된 공간에서 학습하는 것이 순수하게 포인트 기반 메타-최적화기보다 최적화 성능을 향상시키는가?
• RQ5 제안된 메타-최적화기가 합성 벤치마크와 실제 응용에서 표준 집단 기반 알고리즘인 PSO를 능가할 수 있는가?

주요 결과

• 10D 및 20D Rastrigin 함수에서 제안된 메타-최적화기는 평균 함수 값이 각각 12.3 ± 5.4 및 43.0 ± 9.2를 기록하여 B3(20.4 ± 6.6 및 48.5 ± 7.1) 및 기타 기준 모델을 뛰어넘었다.
• 제거 실험을 통해 성능 향상의 주요 원인이 입자 간 어텐션과 사후 지도 메타-손실의 통합임을 확인하였으며, 단순히 입자 수 증가 때문이 아니라는 점을 입증했다.
• 실제 에너지 함수에서 훈련된 메타-최적화기는 PSO와 합성 함수에서 훈련된 메타-최적화기보다 단백질 도킹에서 더 뛰어난 성능을 보였으며, 특히 어려운(유연한) 케이스에서 두드러졌다.
• Rastrigin 함수에서 훈련된 메타-최적화기는 쉬운(고정된) 케이스에서는 PSO를 능가했고, 어려운(유연한) 케이스에서는 이를 뛰어넘어 일반화 능력을 입증했다.
• 메타-손실에 사후 엔트로피를 통합함으로써 B3에 비해 명확한 성능 향상이 발생했으며, 이는 탐색과 이용의 균형을 맞추는 데서의 기여를 확인시켰다.
• 어텐션 메커니즘은 최적화 과정에서 가장 영향력이 있었던 입자와 특징에 대한 해석 가능한 통찰을 제공하여 모델의 해석 가능성 설계를 검증했다.