[논문 리뷰] Recursive Decomposition for Nonconvex Optimization

Abram L. Friesen, Pedro Domingos|arXiv (Cornell University)|2016. 11. 08.

Topological and Geometric Data Analysis참고 문헌 27인용 수 27

한 줄 요약

이 논문은 비볼록 최적화를 위한 RDIS를 제안한다. RDIS는 반복적으로 변수를 설정하여 목적 함수를 약간 독립적인 부분문제로 분해함으로써 局소 조합 구조를 활용하는 재귀적 분해 알고리즘이다. 그래프 분할을 통한 변수 선택과 경사 하강법을 이용한 재귀적 최적화를 조합함으로써, 랜덤 재시작을 동반한 경사 하강법보다 지수적 속도 향상을 달성하고, 단백질 접힘 및 多모달 테스트 함수에서 표준 방법들을 능가한다.

ABSTRACT

Continuous optimization is an important problem in many areas of AI, including vision, robotics, probabilistic inference, and machine learning. Unfortunately, most real-world optimization problems are nonconvex, causing standard convex techniques to find only local optima, even with extensions like random restarts and simulated annealing. We observe that, in many cases, the local modes of the objective function have combinatorial structure, and thus ideas from combinatorial optimization can be brought to bear. Based on this, we propose a problem-decomposition approach to nonconvex optimization. Similarly to DPLL-style SAT solvers and recursive conditioning in probabilistic inference, our algorithm, RDIS, recursively sets variables so as to simplify and decompose the objective function into approximately independent sub-functions, until the remaining functions are simple enough to be optimized by standard techniques like gradient descent. The variables to set are chosen by graph partitioning, ensuring decomposition whenever possible. We show analytically that RDIS can solve a broad class of nonconvex optimization problems exponentially faster than gradient descent with random restarts. Experimentally, RDIS outperforms standard techniques on problems like structure from motion and protein folding.

연구 동기 및 목표

• 인공지능에서 비볼록 최적화 문제에 대응하기 위해, 표준 볼록 최적화 기법이 국소 최적해의 지수적 증가로 인해 실패하는 문제를 해결한다.
• 표준 연속 최적화 도구가 활용할 수 없는 비볼록 함수의 국소 모드 내 조합 구조를 활용한다.
• 비볼록 문제를 약간 독립적인 부분문제로 동적으로 단순화하는 확장 가능한 재귀적 분해 프레임워크를 개발한다.
• 단백질 접힘과 뚜렷한 국소 구조를 가진 어려운 비볼록 문제에서 기존 방법들인 랜덤 재시작이 있는 경사 하강법과 블록 좌표 강하법보다 뛰어난 성능을 내는 것을 목표로 한다.
• 단백질 접힘 및 구조 복원 문제와 같은 도메인에서 국소 분해 가능성을 활용해 효율적인 전역 최적화를 가능하게 한다.

제안 방법

• RDIS는 그래프 분할을 통해 변수 선택을 통해 비볼록 목적 함수를 재귀적으로 분해하여 분해 잠재력을 극대화한다.
• 나머지 함수가 약간 독립적인 부분함수로 분리되도록 보장하는 그래프 분할 히우리스틱에 기반한 변수 설정을 수행한다.
• 변수 고정 후, 표준 연속 최적화 도구(예: 경사 하강법)를 사용해 각 부분문제를 재귀적으로 최적화한다.
• 이 방법은 결정 문제를 위한 SMT 솔버와 유사한 문제 분해 프레임워크 내에 연속 최적화를 통합한다.
• 국소 최소값에서 벗어나기 위해 재귀적 부분문제 내부에서 재시작을 사용하여 전역 탐색 능력을 향상시킨다.
• 스무딩 파라미터 ε는 단순화 정도를 제어하며, 탐색 공간에서 탐색과 이용의 균형을 이룬다.

실험 결과

연구 질문

• RQ1 비볼록 함수를 약간 독립적인 부분문제로 재귀적 분해하면 전역 최적화에서 지수적 속도 향상이 달성될 수 있는가?
• RQ2 연속 최적화는 이산 조합 문제를 위한 목적을 가진 재귀적 분해 프레임워크에 효과적으로 통합될 수 있는가?
• RQ3 단백질 접힘이나 다모달 함수와 같은 비볼록 함수의 국소 구조는 전역 최적해에의 수렴 속도를 얼마나 빠르게 할 수 있는가?
• RQ4 변수 선택 및 분해 전략의 선택은 실제 비볼록 문제에서 성능에 어떤 영향을 미치는가?
• RQ5 내부 재시작 기능이 있는 재귀적 분해는 기존 비볼록 최적화 기법(예: 재시작이 있는 경사 하강법)을 능가할 수 있는가?

주요 결과

• RDIS는 분석적으로 랜덤 재시작이 있는 경사 하강법보다 광범위한 비볼록 문제에서 지수적 속도 향상을 달성한다.
• 고차원 정현파 테스트 함수에서 RDIS는 RDIS-NRR를 포함한 모든 베이스라인 방법보다 뛰어나며, 내재된 재시작 메커니즘이 효과적인 부분공간 탐색을 가능하게 한다.
• 단백질 접힘 문제에서 RDIS는 21개의 테스트 단백질 전반에서 CGD와 BCD-CGD를 크게 앞서며, ε = 1.0과 ε = 2.0 모두 강력한 성능을 보였다.
• RDIS-NRR에서 스무딩 파라미터 ε을 증가시키면 총 소요 시간이 감소하고, 최소 에너지 값이 처음에는 향상되어 더 작은 국소 최소값을 효과적으로 피하는 데 기여한다.
• 재귀적 분해와 내부 재시작 기능을 갖춘 전체 RDIS 알고리즘은 일부 경우에서 최상위 수준의 재시작 없이도 전역 최소값을 찾을 수 있었으며, 궤적 분석을 통해 이를 입증했다.
• RDIS-NRR는 여러 실행에서 일관된 성능 향상을 보이며 분산이 감소하고 수렴성이 향상되어 재귀적 분해 전략의 견고성을 확인했다.