[論文レビュー] Anti-lopsided Algorithm for Large-scale Nonnegative Least Square Problems

Duy Nguyen, Tu Bao Ho|arXiv (Cornell University)|Feb 5, 2015

Tensor decomposition and applications参考文献 11被引用数 8

ひとこと要約

本稿では、大規模な非負の最小二乗問題（NNLS）に対するアンチロップシッティング（反傾斜）アルゴリズムを提案する。元の問題を変数スケーリングの問題を軽減し、勾配方向の有効性を向上させるために、等価な非負の二次計画問題に変換する。この手法は、非負の変数の部分空間において、$(1 - \frac{1}{2\|Q\|_2})^k$ の線形収束率を達成し、行列逆行列計算を一切行わず、1次微分のみを用いることで、最先端の手法を上回る速度と精度を実現する。

ABSTRACT

Non-negative least squares (NNLS) problem is one of the most important fundamental problems in numeric analysis. It has been widely used in scientific computation and data modeling. In big data, the limitations of algorithm speed and accuracy are typical challenges. In this paper, we propose fast and robust anti-lopsided algorithm with high accuracy that is totally based on the first order methods. The main idea of our algorithm is to transform the original NNLS into an equivalent non-negative quadratic programming, which significantly reduce the scaling problem of variables. The proposed algorithm can reach high accuracy and fast speed with linear convergence $(1 - \frac{1}{2||Q||_2})^k$ where $\sqrt{n} \leq ||Q||_2 \leq n$, and $n$ is the dimension size of solutions. The experiments on large matrices clearly show the high performance of the proposed algorithm in comparison to the state-of-the-art algorithms.

研究の動機と目的

• 大規模かつ悪条件なデータに対して、既存のNNLSアルゴリズムの速度と精度の制限を克服すること。
• 1次微分法における変数スケーリング問題が、効果的な勾配方向の特定を妨げる要因となるのを回避すること。
• 高価な行列逆行列計算を避ける一方で、高い精度を維持する手法を開発すること。
• 1次勾配に基づく最適化により、並列および分散処理に効率的に対応できる仕組みを提供すること。
• 悪条件かつ大規模な設定においても、高速な収束性と頑健性を達成すること。

提案手法

• 変数スケーリングの問題を軽減するために、元のNNLS問題を等価な非負の二次計画問題（NQP）に変換する。
• 正確な線分探索を用いた1次勾配法により、反復的に解の変数を更新する。
• 変数の寄与をバランスさせるために、アンチロップシッティング変換を適用し、勾配方向の質を向上させる。
• 収束を加速するために、非負（パassing）変数の部分空間に最適化を集中させる。
• $(A^T A)^{-1}$ の計算を完全に回避し、計算効率を高めるために、1次微分のみに依存する。
• $Q$ の構造（$\sqrt{n} \leq \|Q\|_2 \leq n$）を活用して、線形収束率を導出する。

実験結果

リサーチクエスチョン

• RQ1 NNLSに対する1次微分法が、行列逆行列計算を一切行わず、高速かつ頑健な収束を達成できるか。
• RQ2 変数スケーリングが、1次NNLSソルバーにおける勾配方向の質にどのように影響を与えるか。
• RQ3 アンチロップシッティング変換が、大規模NNLS問題における収束速度と安定性を顕著に改善できるか。
• RQ4 提案手法は、収束速度、実行時間、解の精度の観点で、最先端のアルゴリズムと比較してどのように差をつけるか。
• RQ5 提案手法の理論的収束率は、非負変数の部分空間においてどの程度か。

主な発見

• 提案されたアンチロップシッティングアルゴリズムは、非負変数の部分空間において、$(1 - \frac{1}{2\|Q\|_2})^k$ の線形収束率を達成し、$\|Q\|_2$ は $\sqrt{n}$ から $n$ の間で有界である。
• テストケース全体を通して、Fastアルゴリズム [BDJ97] よりも9〜21倍速く実行され、平均実行時間は12.3〜146.8秒であった。
• 30件のランダムテストケースにおいて、FastやAccerを含むすべての比較手法よりも、最適値に早く収束した。
• 大多数のテストケースで、最適性ギャップ $|f(x_k) - f^*|$ が $10^{-15}$ 以内に収束し、最良の性能を示すFastアルゴリズムと同等の精度を達成した。
• アンチロップシッティング変換により収束速度が顕著に向上し、Anti+AccがAccerよりも優れた性能を示した。
• 1次微分に依存し、行列逆行列計算を回避することで、悪条件ケースにおいても頑健な性能を示した。