[論文レビュー] A DCA-Like Algorithm and its Accelerated Version with Application in Data Visualization

Hoai An Le Thi, Hoai Minh Le+2 more|arXiv (Cornell University)|Jun 25, 2018

Neural Networks and Applications参考文献 14被引用数 3

ひとこと要約

本稿では、制約付きの微分可能かつ合成関数の和を最小化する問題を解くための、差分凸関数法（DCA）の2つの新しい変種、DCA-Likeおよび加速DCA-Likeを提案する。DCA-Likeは、Lipschitz定数Lの正確な推定を必要とせず、反復的にLipschitz定数パラメータμを更新することで主要化を改善し、収束を加速する。一方、加速DCA-LikeはNesterovの加速法を組み合わせることでさらに収束速度を向上させる。これらの手法は、標準DCAと比較して最大9.2倍速く収束し、t-SNE可視化タスクを含む6つのベンチマークデータセットのうち4つで目的関数値を上回る。

ABSTRACT

In this paper, we present two variants of DCA (Different of Convex functions Algorithm) to solve the constrained sum of differentiable function and composite functions minimization problem, with the aim of increasing the convergence speed of DCA. In the first variant, DCA-Like, we introduce a new technique to iteratively modify the decomposition of the objective function. This successive decomposition could lead to a better majorization and consequently a better convergence speed than the basic DCA. We then incorporate the Nesterov's acceleration technique into DCA-Like to give rise to the second variant, named Accelerated DCA-Like. The convergence properties and the convergence rate under Kudyka-Lojasiewicz assumption of both variants are rigorously studied. As an application, we investigate our algorithms for the t-distributed stochastic neighbor embedding. Numerical experiments on several benchmark datasets illustrate the efficiency of our algorithms.

研究の動機と目的

• 目的関数のLipschitz定数Lが不明または不正確に推定されている場合に生じる標準DCAの収束遅延を解消すること。
• 事前にLを既知とする必要なく、パラメータμを反復的に更新することで主要化を改善し、収束を加速するDCAの変種を開発すること。
• Nesterovの加速法をDCA-Likeフレームワークに統合し、収束速度をさらに向上させること。
• Kurdyka-Łojasiewicz（KŁ）仮定の下で、両変種の収束特性および収束速度を厳密に分析すること。
• t-distributed Stochastic Neighbor Embedding（t-SNE）におけるデータ可視化タスクに、提案手法を適用し、実用的効率性と有効性を実証すること。

提案手法

• DCA-Likeは、反復的なμ更新戦略を導入し、目的関数の分解を変更することで、μが真のLipschitz定数L未満であってもより良い主要化を達成する。
• 各ステップで有効なDC分解が得られない状況下でも、問題の構造とKŁ仮定に基づく収束保証により、臨界点への収束を保証する。
• 加速DCA-Likeは、DCA-LikeにNesterovのモーメンタムに基づく外挿法を統合し、反復点の降下行動を改善することで収束を加速する。
• t-SNEへの応用では、最適化問題をDC計画問題に再定式化し、凸部分問題を明示的に解けるようにする。
• 収束解析は、有界な列のグローバル収束を保証し、収束速度の推定値を提供するKurdyka-Łojasiewicz（KŁ）不等式の下で実施する。
• 提案手法は、t-SNEにおいて標準DCAおよび最先端の主要化-最小化（MM）アルゴリズムと比較され、本番の文脈ではMMアルゴリズムがDCA-Likeと同等であることが示された。

実験結果

リサーチクエスチョン

• RQ1 Lipschitz定数Lの正確な推定が不要なDCAの変種を設計できるか？
• RQ2 主要化ステップにおけるパラメータμの反復的更新は、収束速度の向上と目的関数値の改善をもたらすか？
• RQ3 Nesterovの加速法をDCAフレームワークに統合することで、さらなる収束速度の向上が達成できるか？
• RQ4 DCA-Likeおよび加速DCA-Likeがグローバルに収束する条件は何か？また、どのような収束速度を確立できるか？
• RQ5 実世界のデータ可視化タスク、特にt-SNEにおいて、DCA-Likeおよび加速DCA-Likeは、既存の最先端手法と比較してどのように性能を発揮するか？

主な発見

• DCA-Likeは6つのベンチマークデータセットにおいて、標準DCAと比較して反復回数を3〜11.5倍削減し、計算時間も1.9〜9.2倍速くした。
• DCA-Likeは6つのデータセットのうち4つ（letters, shuttle, miniboone, covertype）で標準DCAより低い目的関数値を達成し、残りの2つでは同等の性能を示した。
• 加速DCA-LikeはDCA-Likeと比較して反復回数を1.8〜5倍削減し、計算時間の面でも1.5〜5倍の高速化を達成した。
• ADCA-Likeは6つのデータセットのうち5つで最も良い目的関数値を達成し、解の品質においてDCAおよびDCA-Likeを上回った。
• 数値実験の結果、t-SNEで用いられるMMアルゴリズムが、t-SNE最適化問題にDCA-Likeを適用したものと同等であることが示された。
• MNISTデータセットにおけるt-SNE可視化では、3つのアルゴリズム（DCA, DCA-Like, ADCA-Like）ともデータ構造を良好に保持しており、ADCA-Likeが最も速く収束し、最も優れた目的関数値を達成した。