[논문 리뷰] A feasible second order bundle algorithm for nonsmooth nonconvex optimization problems with inequality constraints: II. Implementation and numerical results

Hannes Fendl, Hermann Schichl|arXiv (Cornell University)|2015. 06. 26.

Advanced Optimization Algorithms Research참고 문헌 20인용 수 3

한 줄 요약

이 논문은 비미분 가능하고 비볼록인 최적화 문제에 대한 실용적인 2차 순환 백터 알고리즘의 구현을 제시하며, 불등식 제약 조건이 있는 문제에서 검증 가능한 해를 도출하기 위해 충족 가능한 이차 제약 조건이 있는 이차계획문제(QCQP)를 풀어 방향을 계산한다. 이 알고리즘은 MPBNGC 및 SolvOpt 등의 기존 솔버들과 비교해 고차원 문제나 해에서 많은 제약 조건이 활성화된 경우에 뛰어난 성능을 보인다.

ABSTRACT

This paper presents a concrete implementation of the feasible second order bundle algorithm for nonsmooth, nonconvex optimization problems with inequality constraints \cite{HannesPaperB}. It computes the search direction by solving a convex quadratically constrained quadratic program. Furthermore, certain versions of the search direction problem are discussed and the applicability of this approach is justified numerically by using different solvers for the computation of the search direction. Finally, the good performance of the second order bundle algorithm is demonstrated by comparison with test results of other solvers on examples of the Hock-Schittkowski collection, on custom examples that arise in the context of finding exclusion boxes for quadratic constraint satisfaction problems, and on higher dimensional piecewise quadratic examples.

연구 동기 및 목표

• 비미분 가능하기 때문에 기존의 기울기 기반 방법이 실패하는 비미분 가능하고 비볼록인 최적화 문제를 해결하는 데 도전하는 것.
• 수렴 속도를 높이기 위해 2차 정보를 활용하면서도 실현 가능성을 유지하는 2차 순환 백터 방법의 신뢰성 있고 효율적인 구현을 개발하는 것.
• Hock-Schittkowski 컬렉션, 이차 제약 조건 만족 문제, 고차원 조각별 이차 예제를 포함한 어려운 테스트 문제에서의 강건한 성능을 확보하는 것.
• 다양한 솔버를 비교하여 QCQP 기반의 방향 계산 방식의 타당성을 입증하고, 수치적 안정성과 효율성을 입증함으로써 이 방식을 선택한 이유를 정당화하는 것.

제안 방법

• 방향 계산을 충족 가능한 이차 제약 조건이 있는 이차계획문제(QCQP)로 공식화하여 2차 정보를 활용할 수 있도록 한다.
• 제약 조건을 처리하기 위해 순차적 이차계획법(SQP)-유사 접근법을 사용하고, 제약 함수의 이차 근사화를 통합한다.
• 실현 가능성을 철저히 유지하기 위해 타당 영역 내에 머무르는 진정한 단계만 수락함으로써 반복 과정 전반에 걸쳐 제약 조건을 만족시킨다.
• 적절한 경우에 불타당한 시험 점을 수락하기 위해 선형 탐색 전략을 구현하며, 전통적인 순환 백터 방법이 불타당한 반복값을 거부하는 것과 다름을 명시한다.
• QCQP 하위 문제에서 강력한 이중성 원리를 활용하여 의미 있는 종료 기준과 전역 수렴 보장을 지원한다.
• 다양한 QP 솔버와 통합하여 선택된 공식화의 강건성과 성능를 검증한다.

실험 결과

연구 질문

• RQ1 비미분 가능하고 비볼록인 최적화 문제에 대해 실현 가능한 반복값을 갖는 2차 순환 백터 방법을 효과적으로 구현할 수 있는가?
• RQ2 방향 계산에 QCQP 공식화를 사용할 경우, 다른 접근 방식과 비교해 수렴성과 수치적 성능에 어떤 영향을 미치는가?
• RQ3 기본 솔버인 MPBNGC 및 SolvOpt와 비교했을 때, 기준 테스트 문제 및 적용 중심 테스트 문제에서 알고리즘이 어떻게 성능를 보이는가?
• RQ4 많은 제약 조건이 해에서 활성화되어 있거나 고차원 문제에서 알고리즘이 여전히 뛰어난 성능를 유지하는가?
• RQ5 실시간 또는 임베디드 응용 프로그램에서 요구하는 기능 및 평가 예산 제한 내에서 알고리즘이 신뢰성 있게 수렴을 달성할 수 있는가?

주요 결과

• Hock-Schittkowski 테스트 세트에서 감소된 알고리즘이 MPBNGC 및 SolvOpt를 능가하며, m₂ = N일 때 100개의 예제 중 20개에서 감소된 알고리즘이 뚜렷이 더 우수하다.
• 많은 활성 제약 조건이 있는 고차원 조각별 이차 문제에서는 다른 솔버들과 비교해 알고리즘이 뛰어난 수렴 행동과 효율성을 보였다.
• m₂ = N인 100개의 어려운 예제 중 97%에서 감소된 알고리즘은 해의 시간에서 SolvOpt를 뚜렷이 능가하거나 동등하게 유지했으며, 단지 5개의 예제에서 SolvOpt가 뚜렷이 더 우수했다.
• m₂ = N인 100개의 예제 중 78개에서 MPBNGC는 반복 제한 내에 수렴하지 못했고, 감소된 알고리즘은 22개에서 성공적으로 수렴했으며, 그 중 15개에서 MPBNGC를 능가했다.
• 알고리즘은 강건성과 확장성을 보이며, 고차원 문제이거나 복잡한 비미분 가능한 구조를 가진 문제에서 성능가 향상되는 경향을 보였다.
• 다양한 솔버가 일관되고 신뢰할 수 있는 결과를 도출함으로써 QCQP 기반의 방향 계산 방식의 수치적 타당성이 입증되었으며, 이는 이 방법론의 타당성을 뒷받침한다.