[論文レビュー] A Combinatorial Algorithm to Compute Regularization Paths

Bernd Gärtner, Joachim Giesen+2 more|ArXiv.org|Mar 27, 2009

Multi-Criteria Decision Making参考文献 36被引用数 8

ひとこと要約

本稿では、特徴行列が特異的または低ランクである場合でも、パラメトリック二次計画問題（pQPs）における完全な正則化パスを計算する、頑健で汎用的な組合せ的クロスオーバー・アルゴリズムを提示する。既存の手法が特異的またはランク不足の問題で失敗するのとは異なり、本手法はこのようなケースを効率的に処理できる。選択ベースの合同分析の24段階のパーツワース推定問題に適用したところ、初期段階で580ステップを要したが、折り返し点ではわずか48回の反復でパスを追跡した。

ABSTRACT

For a wide variety of regularization methods, algorithms computing the entire solution path have been developed recently. Solution path algorithms do not only compute the solution for one particular value of the regularization parameter but the entire path of solutions, making the selection of an optimal parameter much easier. Most of the currently used algorithms are not robust in the sense that they cannot deal with general or degenerate input. Here we present a new robust, generic method for parametric quadratic programming. Our algorithm directly applies to nearly all machine learning applications, where so far every application required its own different algorithm. We illustrate the usefulness of our method by applying it to a very low rank problem which could not be solved by existing path tracking methods, namely to compute part-worth values in choice based conjoint analysis, a popular technique from market research to estimate consumers preferences on a class of parameterized options.

研究の動機と目的

• 目的行列が特異的または低ランクであっても動作する、パラメトリック二次計画問題（pQPs）の汎用的で頑健な解パスアルゴリズムの開発を目的とする。
• カーネル行列がランク不足である場合に、既存のパス追跡アルゴリズムが失敗するか、摂動を要するという限界を克服することを目的とする。
• SVM、LASSO、および合同分析を含む多様な正則化手法に適用可能な統一的なフレームワークを提供し、問題固有の適合を必要としないことを目的とする。
• 特異的問題に起因する失敗を引き起こす実世界の低ランク問題、例えば選択ベースの合同分析において、本手法の有効性を示すこと。
• 解パスの歪みと計算コストの増加を引き起こす摂動に基づく手法の代替手段として、数値的に安定で効率的な代替手法を確立すること。

提案手法

• 本手法は、行列の逆行列を必要とせず、特異的または低ランクのヘッセ行列に対しても頑健に処理できるように、組合せ的クロスオーバー・アルゴリズムを用いてpQPsを直接解く。
• 制約のアクティブセットを横断することで、元の問題を摂動せずに、完全な解パスを追跡する。
• 本手法は、幾何的枠組みにおける超平面と点の双対性を活用したパラメトリック二次計画問題理論に基づく。
• 行列の逆行列による数値的不安定性を回避でき、特にスパース問題（線形SVMや合同分析など）において効率的である。
• 本手法は汎用的であり、C-SVM、LASSO、ν-SVM、ワンクラスSVMを含む、単一のpQPに還元可能な任意の正則化手法に適用可能である。
• 選択ベースの合同分析では、スラック変数を導入したソフトマージンC-SVMとして問題を定式化し、低ランクで半正定値の行列を持つpQPを導出する。

実験結果

リサーチクエスチョン

• RQ1 特異的である場合でも、すべての機械学習手法がパラメトリック二次計画問題に還元される場合に、単一の汎用的アルゴリズムが正則化パスを計算可能かどうか。
• RQ2 クロスオーバー法は、特異的または低ランクの問題において、既存のパス追跡アルゴリズムと比較して数値的安定性と頑健性に優れているか。
• RQ3 本手法は、スパースで低ランクな設計行列を持つ実世界の応用、例えば選択ベースの合同分析において、解パスを効果的に追跡できるか。
• RQ4 特に解パスの折り返し点において、クロスオーバー法を用いたパス追跡の計算コストはいかほどか。
• RQ5 行列の摂動を回避することで、標準的手法と比較してより正確で安定した解パスが得られるか。

主な発見

• クロスオーバー法は、特異的行列に起因して既存手法が失敗する24段階のパーツワース推定問題についても、完全な正則化パスを正常に計算した。
• C-区間が1から6.09×10¹³にわたるパスにおいて、最初の折り返し点に到達するまでに580回の反復を要したが、その後の2つの折り返し点ではそれぞれ47回および22回の反復で処理が完了し、折り返し点での高い効率性を示した。
• 元の問題を摂動せずに処理したため、真の解パスが保持され、人工的なランク上昇が生じなかった。
• アルゴリズムは数値的に安定しており、摂動に基づく手法とは異なり、パス追跡中に誤差の蓄積が見られなかった。
• 結果から、クロスオーバー法は特異的問題に対して頑健であり、実世界の応用で一般的なスパースで低ランクの問題に適していることが確認された。
• 最適化されていない実装ではあるが、大規模な機械学習タスクにおける将来の高性能なデプロイメントに強く期待できる。