[論文レビュー] Limited-Memory Matrix Adaptation for Large Scale Black-box Optimization

Ilya Loshchilov, Tobias Glasmachers+1 more|arXiv (Cornell University)|May 18, 2017

Stochastic Gradient Optimization Techniques参考文献 24被引用数 9

ひとこと要約

本稿では、変換行列の限られた記憶領域による近似を活用することで、行列適応進化戦略（MA-ES）の時間的・空間的計算量を O(n²) から O(n log n) に削減する、スケーラブルな零次最適化アルゴリズムである限界記憶行列適応進化戦略（LM-MA-ES）を提案する。この手法は大規模ブラックボックス最適化ベンチマークで最先端の性能を達成しており、ランダムフォレスト分類器に対する adversarial な入力を効率的に生成する能力を示している。

ABSTRACT

The Covariance Matrix Adaptation Evolution Strategy (CMA-ES) is a popular method to deal with nonconvex and/or stochastic optimization problems when the gradient information is not available. Being based on the CMA-ES, the recently proposed Matrix Adaptation Evolution Strategy (MA-ES) provides a rather surprising result that the covariance matrix and all associated operations (e.g., potentially unstable eigendecomposition) can be replaced in the CMA-ES by a updated transformation matrix without any loss of performance. In order to further simplify MA-ES and reduce its $\mathcal{O}\big(n^2\big)$ time and storage complexity to $\mathcal{O}\big(n\log(n)\big)$, we present the Limited-Memory Matrix Adaptation Evolution Strategy (LM-MA-ES) for efficient zeroth order large-scale optimization. The algorithm demonstrates state-of-the-art performance on a set of established large-scale benchmarks. We explore the algorithm on the problem of generating adversarial inputs for a (non-smooth) random forest classifier, demonstrating a surprising vulnerability of the classifier.

研究の動機と目的

• 大規模ブラックボックス最適化において、次元数に比例して二乗的に増加する計算コストを有する MA-ES の課題を解決すること。
• MA-ES の時間的・空間的計算量を O(n²) から O(n log n) に削減しながら、その性能と単純さを維持すること。
• 限界記憶構造を用いて全変換行列を近似することで、高次元空間における効率的な最適化を可能にすること。
• 標準的大規模ベンチマークおよび adversarial マシンラーニングの文脈において、アルゴリズムの性能を評価すること。
• 零次最適化を用いて、ランダムフォレスト分類器の実用的脆弱性を調査すること。

提案手法

• MA-ES における全変換行列を、最近の m 個の更新ベクトルを用いた低ランク・限界記憶領域近似に置き換える。これにより、記憶量と計算量が削減される。
• ランク-μ の再結合と自己適応的ステップサイズ制御という MA-ES のコアな更新メカニズムを維持するが、これらを限界記憶領域表現に適用する。
• 変換行列は、最近の m 個の更新ベクトルの QR 分解を通じて暗黙的に維持され、O(n log n) 時間で行列-ベクトル積が効率的に行える。
• LM-CMA-ES からインspired された限界記憶領域管理戦略を活用し、スケーラブルな変数メトリック最適化を実現する。
• 平均およびステップサイズの更新にランク-μ の再結合方式を用いることで、悪条件問題においても収束性と性能を保証する。
• 変換行列の表現を圧縮化した形で、MA-ES と同一のサンプリングメカニズムを適用する。これにより、アルゴリズムの不変性およびロバストネスが保持される。

実験結果

リサーチクエスチョン

• RQ1 MA-ES の O(n²) の計算量を、大規模ブラックボックス最適化問題における性能を損なわずに O(n log n) に削減できるか？
• RQ2 変換行列の限界記憶領域近似が、高次元空間における収束速度および解の品質に与える影響は何か？
• RQ3 LM-MA-ES は、滑らかでないモデル（例：ランダムフォレスト）に対して効果的に adversarial な入力を生成できるか？ また、これによりそのロバストネスに関する何が明らかになるか？
• RQ4 LM-MA-ES は、標準的な MA-ES や他の大規模最適化手法と比較して、目的関数評価の効率性および解の品質において優れているか？
• RQ5 記憶領域近似の低ランク構造により、高次元探索空間においてより大きな学習率を許容し、より速い適応が可能になる程度は何か？

主な発見

• LM-MA-ES は、ラップトップ上で MA-ES より 3.5 倍高速であり、9721 個の adversarial な入力生成タスクを約 2 時間で完了した。一方、MA-ES は約 7 時間を要した。
• LM-MA-ES は 9,721 個のテスト画像のうち 6,321 個に対して adversarial 入力を効果的に生成した。これは MA-ES の 6,152 個をわずかに上回る結果であった。
• 同じ評価予算下で、LM-MA-ES は MA-ES よりも低い目的関数値を達成したケースが 7,171 個に上った。一方、MA-ES は 2,550 個であった。これは、解の品質が優れていることを示している。
• 最も簡単な問題では、LM-MA-ES はより速い収束を示したが、MA-ES は関数評価回数の制限により停滞した。これは、低ランク構造が可能にするより大きな学習率の恩恵が顕著に現れていることを示している。
• adversarial 入力の差分画像から、LM-MA-ES が意味のある低次元部分空間を特定している明確な明るいブロブが観察された。一方、単純な ES は等方的ノイズを適用していた。
• LM-MA-ES と MA-ES の性能差は、LM-MA-ES が全 784×784 行列ではなく、log(n) に基づく上位 23 個の方向にのみ適応可能であることに起因すると考えられる。これにより、より速く、より効果的な学習が可能になった。