[논문 리뷰] Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach

Achintya Kundu, Francis Bach외 1명|arXiv (Cornell University)|2017. 10. 17.

Sparse and Compressive Sensing Techniques참고 문헌 2인용 수 7

한 줄 요약

이 논문은 전체 교차 집합에 대한 투영이 계산적으로 비현실적인 경우, 단일 집합에 대한 투영 오라클을 활용하여 단순한 볼록 집합의 교차 위에서 볼록 최적화를 위한 새로운 정확한 페널티 기반 원-대안 알고리즘을 제안한다. 부드러운 문제에 대해 O(1/ε) 및 복합 문제에 대해 O(1/√ε)의 향상된 수렴 속도를 달성하며, 목적 함수 최적성과 타당성 거리 한계를 명시적으로 보장함으로써 그래프 전도 및 매칭 작업에서 이론적·실제로 기존 방법을 능가한다.

ABSTRACT

We consider the problem of minimizing a convex function over the intersection of finitely many simple sets which are easy to project onto. This is an important problem arising in various domains such as machine learning. The main difficulty lies in finding the projection of a point in the intersection of many sets. Existing approaches yield an infeasible point with an iteration-complexity of $O(1/\varepsilon^2)$ for nonsmooth problems with no guarantees on the in-feasibility. By reformulating the problem through exact penalty functions, we derive first-order algorithms which not only guarantees that the distance to the intersection is small but also improve the complexity to $O(1/\varepsilon)$ and $O(1/\sqrt{\varepsilon})$ for smooth functions. For composite and smooth problems, this is achieved through a saddle-point reformulation where the proximal operators required by the primal-dual algorithms can be computed in closed form. We illustrate the benefits of our approach on a graph transduction problem and on graph matching.

연구 동기 및 목표

• 전체 교차 집합에 대한 투영이 계산적으로 비현실적인 경우, 여러 개의 단순 볼록 집합의 교차 위에서 볼록 함수를 최소화하는 문제에 도전한다.
• 각 단순 집합에 대한 개별 투영 오라클을 통해서만 타당 집합에 접근하는 1차 방법을 개발한다. 이는 전체 교차 집합의 투영을 직접 계산하는 것을 피한다.
• 기존 방법에서 부족한 최적성 갭과 타당성 이격(타당 집합까지의 거리)을 동시에 제어하는 수렴 속도 보장을 제공한다.
• 기존 방법의 O(1/ε²) 반복 복잡도를 부드러운 문제에 대해 O(1/ε)로, 복합 문제에 대해 O(1/√ε)로 개선하며, 표준 제약 조건 충족 조건 하에 적용한다.
• 그래프 전도 및 그래프 매칭 작업에서의 실험을 통해 실용적 우수성을 입증한다. 새로운 방법은 타당 집합에 투영된 후에도 정확도를 유지한다.

제안 방법

• 타당성 제약 조건을 목적 함수에 통합하기 위해 정확한 페널티 함수를 사용하여 원래 문제를 재구성함으로써, 사鞍점 공식화를 가능하게 한다.
• 사鞍점 재구성에 기반한 원-대안 알고리즘을 도입하며, 개별 투영 오라클을 사용하여 프록시 연산자를 닫힌 형태로 계산할 수 있다.
• 표준 제약 조건 충족 조건을 활용하여 정확한 페널티 재구성이 타당하고 동일한 해를 도출함을 보장한다.
• 복합 미러-프록시 변형(SMP)을 설계하여 타당성 근접성을 유지하고, 개별 집합에서의 단순 프록시 스텝을 통해 효율적인 계산을 가능하게 한다.
• 내부 반복을 근사하기 위해 비정확한 내부 반복 방법(IIPM)을 사용하며, 고정된 수의 내부 반복 수에서 수렴 보장을 제공한다.
• 1차 방법에 정확한 페널티 접근법을 통합하여 반복값이 타당 집합에 가까이 유지되면서도 빠른 수렴을 달성한다.

실험 결과

연구 질문

• RQ1 개별 투영 오라클만 이용 가능한 경우, 단순 집합의 교차 위에서 볼록 최적화의 수렴 속도를 빠르게 만들 수 있는가?
• RQ2 이러한 문제에 대해 1차 방법에서 최적성 갭과 타당성 이격(타당 집합까지의 거리)을 동시에 작게 보장할 수 있는가?
• RQ3 정확한 페널티 재구성이 기존의 투영 또는 교대 투영 방법에 비해 더 나은 수렴 속도와 타당성 제어를 가능하게 하는가?
• RQ4 프랭크-울프 및 기타 원-대안 접근법에 비해 실질적으로 더 뛰어난 성능을 보일 수 있는가, 특히 시간 제약 조건이 있는 환경에서?
• RQ5 실제 머신러닝 작업에서 타당 집합에 가까이 유지하는 것이 최종 목적 함수 값과 예측 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 정확한 페널티 원-대안(EPPD) 방법은 부드러운 문제에 대해 O(1/ε) 수렴 속도, 복합 문제에 대해 O(1/√ε)를 달성하며, 기존 방법의 O(1/ε²)에 비해 크게 향상되었다.
• SMP 변형은 반복값이 타당 집합으로부터 ε/L_f 이내에 머무르도록 보장하여, 그래프 매칭 실험에서 타당성 부족으로 인한 잘못된 낮은 목적 함수 값을 방지한다.
• 그래프 전도 작업에서 SMP 방법은 분류 정확도가 1 vs 2일 때 5.77%, 1 vs 7일 때 5.31%, 3 vs 8일 때 6.46%였으며, 타당 집합에 투영된 후에도 최소한의 성능 저하를 보이며 강건성을 입증했다.
• n=200 노드의 그래프 매칭에서 EPPD는 더 저렴한 반복 연산(단순형에 대한 투영만 필요) 덕분에 프랭크-울프 및 CMP보다 더 빠르게 수렴했다.
• IIPM 방법은 더 빠르지만, 큰 타당성 이격으로 인해 잘못된 낮은 목적 함수 값을 생성하여, 알고리즘 설계에서 타당성 보장의 중요성을 부각시켰다.
• 실험 결과는 새로운 방법이 타당 집합에 투영된 비타당한 반복값을 처리한 후에도 높은 예측 성능과 안정된 목적 함수 값을 유지함을 확인했으며, 기준 방법과는 달리 그러한 특성을 지녔다.