[논문 리뷰] Proximally Constrained Methods for Weakly Convex Optimization with Weakly Convex Constraints.

Runchao Ma, Qihang Lin외 1명|arXiv (Cornell University)|2019. 08. 05.

Sparse and Compressive Sensing Techniques참고 문헌 57인용 수 8

한 줄 요약

이 논문은 약한 볼록성 조건을 가진 최적화 문제와 약한 볼록성 조건을 가진 제약 조건을 갖는 문제에 대해, 보조적 정규화를 통해 강한 볼록성 하의 보조문제 시퀀스를 해결하는 근처 제약 하에 하향 기울기 방법을 제안한다. 균일한 슬레이터 조건 하에서, 거의 정류점에 도달하기 위한 계산 복잡도 한계를 확립하며, 이는 이 클래스의 제약 조건이 있는 비볼록 문제에 대해 처음으로 증명 가능한 효율성을 갖는 알고리즘을 제공한다.

ABSTRACT

Optimization models with non-convex constraints arise in many tasks in machine learning, e.g., learning with fairness constraints or Neyman-Pearson classification with non-convex loss. Although many efficient methods have been developed with theoretical convergence guarantees for non-convex unconstrained problems, it remains a challenge to design provably efficient algorithms for problems with non-convex functional constraints. This paper proposes a class of subgradient methods for constrained optimization where the objective function and the constraint functions are are weakly convex. Our methods solve a sequence of strongly convex subproblems, where a proximal term is added to both the objective function and each constraint function. Each subproblem can be solved by various algorithms for strongly convex optimization. Under a uniform Slater's condition, we establish the computation complexities of our methods for finding a nearly stationary point.

연구 동기 및 목표

• 기계 학습 분야에서 약한 볼록성 조건을 가진 제약 조건이 있는 비볼록 최적화 문제에 대해 증명 가능한 효율성을 갖는 알고리즘이 부족한 문제를 해결하기 위해.
• 비볼록 목표 함수와 제약 조건을 다룰 수 있는 방법을 설계하여 거의 정류점으로 수렴함을 보장하기 위해.
• 균일한 슬레이터 조건 하에서 근사 정류점 해를 찾는 데 필요한 계산 복잡도 한계를 설정하기 위해.
• 이론적 보장을 바탕으로 보조적 방법의 적용 범위를 제약 조건이 있는 비볼록 문제로 확장하기 위해.

제안 방법

• 보조적 정규화를 통해 목표 함수와 각 제약 함수에 보조적 항을 추가함으로써, 강한 볼록성 보장이 되는 보조 문제의 시퀀스를 해결한다.
• 각 보조 문제는 강한 볼록성을 보장하는 보조적 정규화를 사용하여 구성되며, 이는 강한 볼록 문제에 효율적인 해법을 적용할 수 있도록 한다.
• 알고리즘은 원래 문제의 정규화된 버전을 반복적으로 최소화하며, 보조적 항은 보조 문제의 안정성을 높인다.
• 균일한 슬레이터 조건 하에서 수렴성을 분석하며, 이 조건은 제약 조건의 타당성을 보장하고 복잡도 분석을 가능하게 한다.
• 비미분 가능한 약한 볼록 함수에 대해 하향 기울기 정보를 활용하며, 표준 하향 기울기 방법에 보조적 안정화를 적용한다.

실험 결과

연구 질문

• RQ1 보조적 정규화를 사용하여 약한 볼록성 조건을 가진 제약 조건이 있는 비볼록 최적화 문제에 대해 증명 가능한 수렴성을 갖는 알고리즘을 설계할 수 있는가?
• RQ2 이러한 제약 조건이 있는 비볼록 문제에서 거의 정류점에 도달하는 데 필요한 계산 복잡도는 무엇인가?
• RQ3 균일한 슬레이터 조건은 제안된 방법의 수렴성과 복잡도에 어떤 영향을 미치는가?
• RQ4 기존의 하향 기울기 방법은 보조적 안정화를 통해 비볼록 제약 조건을 다룰 수 있는가?

주요 결과

• 균일한 슬레이터 조건 하에서, ε-근사 정류점에 도달하기 위한 계산 복잡도가 O(1/ε²)임을 입증하였다.
• 보조적 정규화의 사용은 약한 볼록 문제를 강한 볼록 보조 문제로 변환하여 표준 해법을 통해 효율적으로 해결할 수 있도록 한다.
• 균일한 슬레이터 조건을 가정할 경우, 제약 조건의 타당성을 보장함으로써 거의 정류점으로의 수렴이 보장된다.
• 약한 볼록 제약 조건 최적화의 맥락에서 보조 하향 기울기 방법에 대한 첫 번째 복잡도 분석을 제공한다.