[논문 리뷰] A generalized Douglas-Rachford splitting algorithm for nonconvex optimization

Fengmiao Bian, Xiaoqun Zhang|arXiv (Cornell University)|2019. 10. 12.

Sparse and Compressive Sensing Techniques인용 수 1

한 줄 요약

이 논문은 전체 수렴을 보장하기 위해 새로운 미리미터 함수를 도입함으로써 비볼록 최적화 문제를 위한 일반화된 Douglas-Rachford 분할 알고리즘을 제안한다. 이 방법은 낮은 질량의 행렬 복원과 로지스틱 회귀에 적용되어 수치 실험에서 기존의 접근 방식에 비해 뛰어난 성능을 보였다.

ABSTRACT

In this paper, we propose a generalized Douglas-Rachford splitting method for a class of nonconvex optimization problem. A new merit function is constructed to establish the convergence of the whole sequence generated by the generalized Douglas-Rachford splitting method. We then apply the generalized Douglas-Rachford splitting method to two important classes of nonconvex optimization problems arising in data science: low rank matrix completion and logistic regression. Numerical results validate the effectiveness of our generalized Douglas-Rachford splitting method compared with some other classical methods.

연구 동기 및 목표

• 기존의 분할 방법이 비볼록 최적화 문제에 대해 수렴 보장을 갖추지 못하는 문제를 해결하기 위해.
• 데이터 과학에서 발생하는 비볼록 문제를 다룰 수 있는 일반화된 Douglas-Rachford 알고리즘을 개발하기 위해.
• 알고리즘에 의해 생성된 전체 수열의 수렴을 보장하기 위한 새로운 미리미터 함수를 구축하기 위해.
• 낮은 질량의 행렬 복원과 로지스틱 회귀라는 두 가지 핵심 비볼록 문제에 대해 방법의 효과성을 검증하기 위해.

제안 방법

• 비볼록 최적화 문제의 일군의 클래스에 대해 일반화된 Douglas-Rachford 분할 방법을 제안한다.
• 전체 수열의 수렴 분석과 보증을 위해 새로운 미리미터 함수를 구성한다.
• 문제를 비볼록 최적화 과제로 재구성함으로써 낮은 질량의 행렬 복원에 이 방법을 적용한다.
• 알고리즘은 로지스틱 회귀에 대해서도 적응시켜, 구조화된 목표 함수를 갖는 비볼록 문제로 간주한다.
• 수렴은 수렴을 보장하는 데 핵심적인 역할을 하는 리아푸노프 유형 함수로 작용하는 미리미터 함수를 사용하여 증명된다.
• 수치 실험을 통해 기존의 고전적 솔버들과의 성능 및 강건성 비교를 수행한다.

실험 결과

연구 질문

• RQ1 비볼록 최적화 문제에 대해 전체 수렴을 보장할 수 있도록 일반화된 Douglas-Rachford 분할 방법을 설계할 수 있는가?
• RQ2 제안된 미리미터 함수는 비볼록 환경에서 전체 수열의 수렴에 어떻게 기여하는가?
• RQ3 기존의 알고리즘에 비해 일반화된 방법은 낮은 질량의 행렬 복원 문제에서 어떤 성능을 보이는가?
• RQ4 비볼록 설정에서 로지스틱 회귀 문제를 해결하는 데 있어 이 방법은 얼마나 효과적인가?
• RQ5 이 알고리즘은 다양한 비볼록 데이터 과학 문제에 걸쳐 강건성과 효율성을 유지하는가?

주요 결과

• 제안된 일반화된 Douglas-Rachford 분할 방법은 새로 구성된 미리미터 함수를 통해 전체 수열의 수렴을 달성한다.
• 수치 실험에서 낮은 질량의 행렬 복원 문제 해결에 있어 기존의 접근 방식을 능가하는 성능을 보였다.
• 비볼록 설정에서 로지스틱 회귀 과제에 대해 강력한 성능과 강건성을 보였다.
• 표준 방법이 실패하는 비볼록 환경에서도 수렴을 증명하는 데 핵심 도구로 작용하는 미리미터 함수가 중요하다.
• 수치 결과는 제안된 방법의 효과성과 기존의 고전적 솔버 대비 효율성에 대해 확인한다.