[論文レビュー] Adaptive Regularization for Weight Matrices

Koby Crammer, Gal Chechik|arXiv (Cornell University)|Jun 18, 2012

Machine Learning and Algorithms参考文献 18被引用数 9

ひとこと要約

本稿では、機械学習における重み行列の学習のための2つの適応的正則化アルゴリズムを提案する。1つは対角共分散を用いて大規模な行列にスケーリングするものであり、もう1つは共分散を因子分解することで特徴間の相関を効率的にモデル化するものである。両者とも、画像検索および文書ランク付けタスクで優れた性能を示し、因子化されたバージョンは収束が早く、誤りバウンドモデルにおいて強力な理論的保証を有している。

ABSTRACT

Algorithms for learning distributions over weight-vectors, such as AROW were recently shown empirically to achieve state-of-the-art performance at various problems, with strong theoretical guaranties. Extending these algorithms to matrix models pose challenges since the number of free parameters in the covariance of the distribution scales as $n^4$ with the dimension $n$ of the matrix, and $n$ tends to be large in real applications. We describe, analyze and experiment with two new algorithms for learning distribution of matrix models. Our first algorithm maintains a diagonal covariance over the parameters and can handle large covariance matrices. The second algorithm factors the covariance to capture inter-features correlation while keeping the number of parameters linear in the size of the original matrix. We analyze both algorithms in the mistake bound model and show a superior precision performance of our approach over other algorithms in two tasks: retrieving similar images, and ranking similar documents. The factored algorithm is shown to attain faster convergence rate.

研究の動機と目的

• 重み行列モデルにおける共分散パrameterizationのスケーラビリティ問題に対処すること。特に、全共分散は次元nに対してn⁴のスケーリングを示す。
• 現実世界の応用で一般的な高次元設定において、重み行列の分布を効率的に学習できることを実現すること。
• ランク付けおよびリtrievalタスクにおける精度向上を図りながら、誤りバウンドモデルにおける強い理論的保証を維持すること。
• 共分散推定における自由パラメータ数を減らすが、モデル化能力を損なわないこと。
• 行列サイズに線形にスケーリングするが、特徴間の相関を捉えることのできるアルゴリズムの開発

提案手法

• 各重みパラメータごとに別々の分散を維持する対角共分散アプローチを提案し、パラメータ数をn⁴からn²に削減する。
• 共分散行列を低ランク成分に分解する因子化共分散モデルを導入し、パラメータ数をO(n)に削減しながら相関モデリングを維持する。
• 誤りバウンドフレームワークにおける適応的正則化を適用し、予測誤差に基づいて重み行列の分布を更新する。
• オンライン学習の更新則を用い、各誤りの後で重み分布の平均および共分散を調整する。
• 重み行列の事後分布の効率的計算を可能にする構造化パラメータ化を採用する。
• 重みベクトルのAROWアルゴリズムの原則を活用し、共分散適応を介して行列モデルに拡張する。

実験結果

リサーチクエスチョン

• RQ1 重みベクトルから重み行列への適応的正則化を、計算可能性を保ちつつ効果的に拡張できるか？
• RQ2 特徴間の相関モデリングのためのモデル化能力を損なわず、共分散行列のパラメータ数をどのように削減できるか？
• RQ3 提案手法が、既存の手法と比較してランク付けおよびリtrievalタスクにおける精度を向上させられるか？
• RQ4 因子化共分散モデルは、対角バージョンやベースラインアルゴリズムと比較して、より高速な収束を達成できるか？
• RQ5 オンライン学習アルゴリズムを行列モデルに拡張する際、どのような理論的保証を維持できるか？

主な発見

• 対角共分散アルゴリズムは、画像検索および文書ランク付けタスクで最先端の性能を達成し、ベースライン手法よりも精度が優れている。
• 因子化共分散モデルは、対角バージョンおよび競合するアルゴリズムと比較して、より高速な収束レートを達成している。
• 提案手法は誤りバウンドモデルにおける理論的保証を維持しており、AROWフレームワークを行列学習に拡張している。
• 因子化アプローチにより、自由パラメータ数をO(n⁴)からO(n)に削減し、大規模な行列へのスケーリングを可能にしている。
• 実験結果から、画像類似度検索および文書ランク付けタスクにおける精度が顕著に向上している。
• 全共分散モデルが非現実的となる高次元設定において、アルゴリズムは頑健性と効率性を示している。