[논문 리뷰] The Boosted DC Algorithm for nonsmooth functions

Francisco J. Aragón Artacho, Phan Tu Vuong|arXiv (Cornell University)|2018. 12. 14.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 6

한 줄 요약

이 논문은 부드럽지 않은 성분이 있는 차분의 볼록 함수(차분의 볼록 함수, DC)를 최소화하기 위해 부스팅된 DC 알고리즘(BDCA)의 비부드러운 확장판을 제안한다. 부드러운 성분은 미분 가능하지만 비부드러운 성분은 그렇지 않다. 적응형 단계 크기 선택이 가능한 융통성 있는 선형 검색을 도입함으로써, BDCA는 고전적인 DCA보다 더 빠른 수렴 속도를 보이며, 클러스터링 문제에서는 최대 16배 빠르고, 다차원 척도법 문제에서는 3배 빠르게 수렴한다. 이는 Kurdyka–Łojasiewicz 성질이 성립할 경우 전역 수렴이 보장된다.

ABSTRACT

The Boosted Difference of Convex functions Algorithm (BDCA) was recently proposed for minimizing smooth difference of convex (DC) functions. BDCA accelerates the convergence of the classical Difference of Convex functions Algorithm (DCA) thanks to an additional line search step. The purpose of this paper is twofold. Firstly, to show that this scheme can be generalized and successfully applied to certain types of nonsmooth DC functions, namely, those that can be expressed as the difference of a smooth function and a possibly nonsmooth one. Secondly, to show that there is complete freedom in the choice of the trial step size for the line search, which is something that can further improve its performance. We prove that any limit point of the BDCA iterative sequence is a critical point of the problem under consideration, and that the corresponding objective value is monotonically decreasing and convergent. The global convergence and convergent rate of the iterations are obtained under the Kurdyka-Lojasiewicz property. Applications and numerical experiments for two problems in data science are presented, demonstrating that BDCA outperforms DCA. Specifically, for the Minimum Sum-of-Squares Clustering problem, BDCA was on average sixteen times faster than DCA, and for the Multidimensional Scaling problem, BDCA was three times faster than DCA.

연구 동기 및 목표

• 부드러운 볼록 함수와 비부드러운 볼록 함수의 차분으로 이루어진 비부드러운 DC 함수를 다룰 수 있도록 부스팅된 DC 알고리즘(BDCA)을 확장하는 것.
• Kurdyka–Łojasiewicz 성질 하에서 제안된 BDCA의 전역 수렴성과 수렴 속도 보장을 확립하는 것.
• 비미분 가능 DC 목표 함수를 포함하는 실제 데이터 과학 문제를 해결하는 데 있어 DCA에 비해 BDCA의 우수성을 입증하는 것.
• 선형 검색에서 시험 단계 크기 $\overline{\lambda}_k$의 선택이 융통성 있고 적응적으로 이루어져 성능 향상을 더욱 높일 수 있음을 보여주는 것.

제안 방법

• 비부드러운 성분이 비미분 가능할 수 있는 점에서도 DCA 반복에서 유도된 내림방향을 사용하여 목적 함수의 충분한 감소를 보장한다.
• 시험 단계 크기 $\overline{\lambda}_k$를 사용해 이 내림방향을 따라 선형 검색을 수행하며, 이는 이전 반복 기반으로 적응적으로 선택될 수 있다.
• 백트래킹 선형 검색은 목적 함수의 충분한 감소를 보장하며, 실무에서는 배경 매개수 $\beta \approx 0.1$을 사용한다.
• 이 방법은 두 가지 핵심 데이터 과학 문제에 적용된다: 최소 제곱합 클러스터링과 다차원 척도법으로, 모두 DC 프로그래밍으로 공식화된다.
• 전역 수렴은 Kurdyka–Łojasiewicz 부등식 하에서 확립되며, 강한 형태의 부등식 하에서 수렴 속도 분석이 제공된다.
• 시험 단계 크기 $\overline{\lambda}_k$에 대한 자가 적응 전략을 도입하여, 충분한 감소가 이루어질 경우 단계 크기를 동적으로 증가시켜 성능 향상을 도모한다.

실험 결과

연구 질문

• RQ1 부스팅된 DC 알고리즘은 비부드러운 DC 함수를 다룰 수 있도록 일반화될 수 있는가? 이때 비부드러운 성분은 비미분 가능할 수 있다.
• RQ2 목적 함수가 비미분 가능할 경우에도 BDCA의 선형 검색 단계는 여전히 효과적이며 충분한 감소를 보장하는가?
• RQ3 시험 단계 크기 $\overline{\lambda}_k$의 선택이 융통성 있고 적응적으로 이루어져 수렴 속도 향상에 기여할 수 있는가?
• RQ4 표준 가정인 Kurdyka–Łojasiewicz 성질 하에서 제안된 BDCA의 전역 수렴 행동은 어떠한가?
• RQ5 비미분 가능 DC 목표 함수를 포함하는 실제 데이터 과학 응용에서 BDCA의 성능은 DCA에 비해 어떻게 비교되는가?

주요 결과

• 최소 제곱합 클러스터링 문제를 해결하는 데 있어 BDCA는 계산 시간과 반복 횟수 측면에서 DCA 대비 평균 16배 더 빠른 수렴 속도를 보였다.
• 다차원 척도법 문제에서는 BDCA가 실행 시간과 반복 수 측면에서 DCA 대비 평균 3배 더 빠른 성능을 보였다.
• 시험 단계 크기 $\overline{\lambda}_k$를 선택하는 자가 적응 전략은 일정한 단계 크기를 사용할 경우 대비 BDCA 성능을 두 배로 향상시켰다.
• 제안된 BDCA는 Kurdyka–Łojasiewicz 성질 하에서 목적 함수 값의 단조 감소를 보장하며, 임계점으로 수렴한다.
• 수치 실험 결과, DCA가 가끔 더 잘 작동하는 경우에도 BDCA는 여전히 DCA를 능가하며, 이는 알고리즘이 강건하고 일관된 향상을 보임을 시사한다.
• 단계 크기 $\overline{\lambda}_k$의 선택 유연성 덕분에 이전 정보를 활용할 수 있어 수렴 속도 향상에 기여하지만, 수렴 보장 조건은 유지된다.