[논문 리뷰] Improved analysis of algorithms based on supporting halfspaces and quadratic programming for the convex intersection and feasibility problems

C. H. Jeffrey Pang|arXiv (Cornell University)|2014. 06. 16.

Optimization and Variational Analysis참고 문헌 27인용 수 3

한 줄 요약

이 논문은 지원 반공간과 2차 프로그래밍(QP)을 통합하여 볼록 가능성 문제와 교차 문제의 알고리즘을 향상시킨다. 새로운 정규성 조건인 제2차 지원 초평면 성질(SOSH) 하에서 다항항 초선형 또는 2차 수렴를 달성하며, 유한한 비가능성 탐지 기능을 제공한다. 또한 Goldfarb와 Idnani의 이중 활성집합 QP 알고리즘을 사용해 전체 QP를 해소하지 않고도 유용한 반복 해를 확보하는 부분적 QP 해를 통해 계산 비용을 절감한다.

ABSTRACT

This paper improves the algorithms based on supporting halfspaces and quadratic programming for convex set intersection problems in our earlier paper in several directions. First, we give conditions so that much smaller quadratic programs (QPs) and approximate projections arising from partially solving the QPs are sufficient for multiple-term superlinear convergence for nonsmooth problems. Second, we identify additional regularity, which we call the second order supporting hyperplane property (SOSH), that gives multiple-term quadratic convergence. Third, we show that these fast convergence results carry over for the convex inequality problem. Fourth, we show that infeasibility can be detected in finitely many operations. Lastly, we explain how we can use the dual active set QP algorithm of Goldfarb and Idnani to get useful iterates by solving the QPs partially, overcoming the problem of solving large QPs in our algorithms.

연구 동기 및 목표

• 가속화된 투영 방법을 사용해 볼록 가능성 문제와 교차 문제(SIP) 및 볼록 부등식 문제(CIP)의 느린 수렴 문제를 해결한다.
• 기존 알고리즘에서 큰 QP를 최적해로 풀이하는 데 발생하는 계산 부담을 완화한다.
• 더 작은 QP와 근사 투영이 비연속 문제에서도 빠른 수렴을 이끌 수 있는 조건을 설정한다.
• SIP 및 CIP의 비가능한 사례에 대해 유한한 횟수의 연산 내에서 비가능성 탐지를 가능하게 한다.
• Goldfarb와 Idnani의 이중 활성집합 QP 알고리즘을 사용해 온전한 QP 해를 얻는 데 비용이 많이 들더라도 실용적인 구현을 가능하게 한다. 이때 온전한 해를 얻지 않고도 유용한 중간 반복 해를 생성할 수 있도록 온난 시작(warm-starting)과 부분적 해법을 활용한다.

제안 방법

• 개별 볼록 집합에 대한 투영을 통해 생성된 지원 반공간을 사용해 교차 집합 K의 외부 근사값을 구성한다.
• 투영된 점들을 이러한 반공간의 교차에 투영하기 위해 2차 프로그래밍(QP)을 사용하며, QP 해석행렬로 항등행렬을 사용해 문제의 잘 정의됨을 보장한다.
• 다항항 2차 수렴을 가능하게 하는 정규성 조건으로 제2차 지원 초평면 성질(SOSH)을 도입한다.
• Goldfarb와 Idnani(GI 알고리즘)의 이중 활성집합 QP 알고리즘을 사용해 QP를 부분적으로 풀며, 타당성을 유지하면서 점진적으로 개선된 반복 해를 확보한다.
• 내부 GI 단계를 서브루틴으로 활용해, 전체 QP 해를 얻지 않더라도 SIP 및 CIP의 반복 해를 향상시킬 수 있으며, 해집합으로부터의 거리가 단조 감소하는 특성을 활용한다.
• GI 알고리즘에서 온난 시작을 활용해 반복 간 QP 해법의 효율성을 높이며, 순차적 응용에서 계산 비용을 크게 감소시킨다.

실험 결과

연구 질문

• RQ1 비연속 볼록 가능성 문제에서 더 작은 QP와 근사 투영이 여전히 다항항 초선형 수렴을 이끌 수 있는 조건는 무엇인가?
• RQ2 기본 제약 조건의 자격 조건을 넘어서는 어떤 정규성 조건이 SIP 및 CIP에서 다항항 2차 수렴을 보장하는가?
• RQ3 SIP 및 CIP에서 비가능성이 유한한 횟수의 연산 내에서 탐지될 수 있으며, 어떤 가정 하에 가능한가?
• RQ4 전체 QP 해가 계산적으로 비용이 많이 들 경우, 이중 활성집합 QP 알고리즘이 어떻게 효과적으로 유용한 중간 반복 해를 생성하는가?
• RQ5 지원 반공간과 QP 기반 투영을 조합함으로써, 교차 투영 기반 방법의 수렴 속도는 어느 정도로 가속화될 수 있는가?

주요 결과

• 논문은 제2차 지원 초평면 성질(SOSH)이 성립할 경우, 비연속 설정에서도 SIP 및 CIP에서 다항항 2차 수렴이 달성됨을 입증한다.
• 합리적인 정규성 조건 하에서 비가능성으로의 유한한 수렴이 보장되며, 이는 비가능성 증명서를 유한한 횟수의 연산 내에서 생성할 수 있음을 의미한다.
• Goldfarb–Idnani의 이중 활성집합 알고리즘을 사용한 QP의 부분적 해법을 통해, 최적해에 도달하기 전 단계에서도 현재 반복 해보다 더 나은 해를 얻을 수 있다.
• GI 알고리즘에 의해 생성된 반복 해의 수열은 해집합으로부터의 거리가 단조 감소하며, 각 내부 반복에서 이동한 단계의 노름 이상으로 오차가 감소한다.
• 내부 GI 단계를 활용함으로써, 외부 반복 간 QP 해법에 대해 온난 시작이 가능해져 실질적으로 계산 비용을 크게 감소시킨다.
• 제안된 방법은 다각형 외부 근사와 QP 기반 투영을 활용해 SIP 및 CIP에서 초선형 또는 2차 수렴 속도를 달성하며, 표준 교차 투영 방법보다 뛰어난 성능을 보인다.