[論文レビュー] The Boosted DC Algorithm for nonsmooth functions

Francisco J. Aragón Artacho, Phan Tu Vuong|arXiv (Cornell University)|Dec 14, 2018

Sparse and Compressive Sensing Techniques参考文献 28被引用数 6

ひとこと要約

本稿では、滑らかでない凸関数の差（DC）関数を最小化するための、ブーストド・DCアルゴリズム（BDCA）の非滑らか拡張を提案する。滑らかな成分は微分可能であるが、非滑らかな成分は非微分可能である。柔軟なラインサーチと適応的ステップサイズ選択を導入することで、古典的なDCAに比べて収束が速くなり、クラスタリング問題では最大16倍、多次元尺度構成問題では3倍の高速化を達成した。また、Kurdyka–Łojasiewicz性質のもとで、グローバル収束が保証される。

ABSTRACT

The Boosted Difference of Convex functions Algorithm (BDCA) was recently proposed for minimizing smooth difference of convex (DC) functions. BDCA accelerates the convergence of the classical Difference of Convex functions Algorithm (DCA) thanks to an additional line search step. The purpose of this paper is twofold. Firstly, to show that this scheme can be generalized and successfully applied to certain types of nonsmooth DC functions, namely, those that can be expressed as the difference of a smooth function and a possibly nonsmooth one. Secondly, to show that there is complete freedom in the choice of the trial step size for the line search, which is something that can further improve its performance. We prove that any limit point of the BDCA iterative sequence is a critical point of the problem under consideration, and that the corresponding objective value is monotonically decreasing and convergent. The global convergence and convergent rate of the iterations are obtained under the Kurdyka-Lojasiewicz property. Applications and numerical experiments for two problems in data science are presented, demonstrating that BDCA outperforms DCA. Specifically, for the Minimum Sum-of-Squares Clustering problem, BDCA was on average sixteen times faster than DCA, and for the Multidimensional Scaling problem, BDCA was three times faster than DCA.

研究の動機と目的

• 滑らかな凸関数と可能に非滑らかな凸関数の差として表される非滑らかなDC関数を扱えるように、ブーストドDCアルゴリズム（BDCA）を拡張すること。
• Kurdyka–Łojasiewicz性質のもとで、提案されたBDCAのグローバル収束と収束速度の保証を確立すること。
• 非微分可能なDC目的関数を含む実世界のデータサイエンス問題を解く際、古典的なDCAに比べてBDCAが優れていることを示すこと。
• ラインサーチにおける試行ステップサイズの選択が柔軟であり、性能向上を図るために適応的に選べることを示すこと。

提案手法

• 非滑らかな成分が微分不能な点であっても、DCA反復から得られる降下方向を用いることで、目的関数の十分な減少を保証する。
• 試行ステップサイズ $\overline{\lambda}_k$ を用いて、この降下方向にラインサーチを実行し、過去の反復に基づいて適応的に選択可能である。
• バックトラッキングラインサーチにより、目的関数の十分な減少を保証し、実際にはバックトラッキングパラメータ $\beta \approx 0.1$ を用いる。
• 本手法は、最小二乗和クラスタリングと多次元尺度構成の2つの重要なデータサイエンス問題に適用され、両者ともDCプログラムとして定式化されている。
• グローバル収束はKurdyka–Łojasiewicz不等式のもとで確立され、強いバージョンの不等式のもとで収束速度の分析が行われている。
• $\overline{\lambda}_k$ の自己適応戦略を導入し、十分な減少が達成された場合にはステップサイズを動的に増加させることで、性能向上を図っている。

実験結果

リサーチクエスチョン

• RQ1 ブーストドDCアルゴリズムは、非微分可能な非滑らかな成分を有する非滑らかなDC関数に対しても一般化可能か？
• RQ2 目的関数が非微分可能であっても、BDCAにおけるラインサーチステップは有効であり、十分な減少を保証するか？
• RQ3 試行ステップサイズ $\overline{\lambda}_k$ の選択を柔軟かつ適応的にすることで、収束速度の向上が図れるか？
• RQ4 Kurdyka–Łojasiewicz性質といった標準的な仮定のもとで、提案されたBDCAのグローバル収束挙動はいかなるものか？
• RQ5 非微分可能なDC目的関数を含む実用的なデータサイエンスの応用において、BDCAの性能はDCAに比べてどのように異なるか？

主な発見

• 最小二乗和クラスタリング問題を解く際、BDCAはDCAに比べて計算時間および反復回数の両面で平均16倍の高速収束を達成した。
• 多次元尺度構成問題においては、BDCAはDCAに比べて平均3倍の高速収束を達成した。
• 試行ステップサイズ $\overline{\lambda}_k$ の自己適応戦略により、定数ステップサイズを使用する場合に比べ、BDCAの性能が2倍向上した。
• 提案されたBDCAは、Kurdyka–Łojasiewicz性質のもとで目的関数値が単調に減少し、臨界点に収束することを保証する。
• 数値実験の結果、DCAがたまたま優れた性能を発揮する場合でさえも、BDCAが常に優れていることが示され、ロバストで一貫した改善が得られた。
• ステップサイズ $\overline{\lambda}_k$ の選択の柔軟性により、履歴情報を活用でき、収束保証を損なわず収束速度を向上させることができる。