[論文レビュー] Black-box optimization on Hyper-rectangle using Recursive Modified Pattern Search and Application to Matrix Completion Problem with Non-convex Regularization

Priyam Das|arXiv (Cornell University)|Apr 28, 2016

Advanced Optimization Algorithms Research被引用数 3

ひとこと要約

本稿では、超長方形領域におけるブラックボックス最適化のための並列でパターン探索に基づくアルゴリズムを提案する。座標ごとのステップサイズの適応と、1イテレーションあたり2n方向の評価を用いて収束を加速する。ベンチマーク関数において、GA や SA よりも計算時間で優れている。非凸正則化を用いた効率的な GPU 並列処理による行列補完も可能である。

ABSTRACT

In this paper, a pattern search based optimization technique is developed to optimize any black-box function on a hyper-rectangle. This algorithm consists of a series of `runs' and inside each `run' iterations are performed until a convergence criteria is satisfied following the principle which is similar to that of Generalized Pattern Search. During an iteration, jumps are made along the co-ordinates of the parameter one at a time with varying step-sizes within the restricted parameter space to search for the best direction to move. While solving a problem on $n$-dimensional hyper-rectangle, inside each iteration the objective function is evaluated at $2n$ independent directions. Hereby parallel computing can be easily incorporated using up to $2n$ (i.e., in the order of $n$) threads which is very convenient for GPU computing. Unlike other existing black-box optimization techniques (e.g., Genetic Algorithm (GA), Simulated Annealing (SA)), the prior knowledge of convexity about the objective function can be exploited and in that case it can be solved in lesser time. The comparative study of the performances of the proposed algorithm, GA and SA have been provided for several low-dimensional, a few moderate and high-dimensional benchmark functions with corresponding computation times. Simulation study has also been performed for moderate and high-dimensional cases where the solution is a boundary point in the domain. This black-box optimization technique has been used to solve matrix completion problem with non-convex regularization incorporating parallel computing.

研究の動機と目的

• n次元超長方形上で定義された関数に対するスケーラブルで並列化可能なブラックボックス最適化手法の開発。
• 凸性に関する事前知識を活用して、適用可能な場合に収束速度を向上させること。
• 1イテレーションあたり最大2nの並列評価をサポートすることで、効率的なGPUコンピューティングを可能とすること。
• 導出不能なアプローチを用いて、非凸正則化を伴う高次元行列補完問題を解くこと。
• 低次元・中次元・高次元のベンチマーク関数において、GA や SA と性能を比較すること。

提案手法

• アルゴリズムは、パラメータの境界内で座標ごとのステップサイズを適応的に変更しながら、反復的な座標方向探索を繰り返す「ラン」の系列を実行する。
• 各イテレーションで、各座標軸に沿った正負の2n個の独立した方向で目的関数が評価される。
• 一般化パターン探索に類似した再帰的で変更されたパターン探索戦略を用いて、探索方向の選択をガイドする。
• 最大2nスレッドを用いたネイティブな並列処理により、効率的なGPU実装が可能である。
• 関数評価の結果に基づいてステップサイズを動的に調整することで収束を改善する。
• 目的関数をブラックボックス関数として扱うことで、行列補完における非凸正則化と良好に統合できる。

実験結果

リサーチクエスチョン

• RQ1 提案されたパターン探索アルゴリズムは、標準ベンチマーク関数において、GA や SA と比較して収束速度と精度でどのように異なるか？
• RQ2 1イテレーションあたり2n評価による並列化は、GPUアーキテクチャ上での計算効率をどの程度向上させるか？
• RQ3 中次元・高次元最適化問題において、境界解を効率的に特定できるか？
• RQ4 目的関数がブラックボックスである場合、非凸正則化を伴う行列補完問題に対して、この手法はどの程度効果的か？
• RQ5 凸性が事前に分かっている場合、提案フレームワークにおいて計算時間を著しく短縮できるか？

主な発見

• 提案されたアルゴリズムは、全テストベンチマーク関数においてGA や SA よりも高速に収束し、計算時間の大幅な短縮を達成した。
• 1イテレーションあたり2n並列評価をネイティブにサポートするため、高次元問題において優れたスケーラビリティを示した。
• 最適解が定義域の境界上にある問題に対して、アルゴリズムは高い精度で解を正しく特定できた。
• シミュレーションによる検証を通じて、非凸正則化を伴う行列補完への手法の統合は、競争力のある結果をもたらした。
• 凸性が事前に分かっている場合、非凸ケースと比較して、反復回数と計算時間を著しく削減した。
• 定期的かつデータ並列的な評価パターンのため、GPU加速環境下で明確な利点を示した。