[論文レビュー] Fast Matrix Factorization with Non-Uniform Weights on Missing Data

Xiangnan He, Jinhui Tang+4 more|arXiv (Cornell University)|Nov 11, 2018

Recommender Systems and Techniques参考文献 50被引用数 8

ひとこと要約

この論文は、欠損データエントリに対して非一様な重み付けを可能にする高速で効率的な行列分解手法を提案している。これにより、一様な重み付けに比べてモデルの忠実度が向上する。トレuncated SVD を用いた重み圧縮とメモ化された要素単位の逐次最小二乗法（eALS）を組み合わせることで、学習時間の複雑性が観測されたエントリ数にのみ比例するようになり、著しく高速化される一方で、欠損データに対する任意の重み付け方式をサポートする。

ABSTRACT

Matrix factorization (MF) has been widely used to discover the low-rank structure and to predict the missing entries of data matrix. In many real-world learning systems, the data matrix can be very high-dimensional but sparse. This poses an imbalanced learning problem, since the scale of missing entries is usually much larger than that of observed entries, but they cannot be ignored due to the valuable negative signal. For efficiency concern, existing work typically applies a uniform weight on missing entries to allow a fast learning algorithm. However, this simplification will decrease modeling fidelity, resulting in suboptimal performance for downstream applications. In this work, we weight the missing data non-uniformly, and more generically, we allow any weighting strategy on the missing data. To address the efficiency challenge, we propose a fast learning method, for which the time complexity is determined by the number of observed entries in the data matrix, rather than the matrix size. The key idea is two-fold: 1) we apply truncated SVD on the weight matrix to get a more compact representation of the weights, and 2) we learn MF parameters with element-wise alternating least squares (eALS) and memorize the key intermediate variables to avoid repeating computations that are unnecessary. We conduct extensive experiments on two recommendation benchmarks, demonstrating the correctness, efficiency, and effectiveness of our fast eALS method.

研究の動機と目的

• 行列分解における欠損データへの一様な重み付けの制限を解消し、効率性の向上にもかかわらずモデルの忠実度を低下させる要因を軽減すること。
• 実世界のネガティブ信号パターン（例えば、推薦における人気バイアス）をよりよく反映できるように、柔軟で非一様な重み付けを欠損エントリに適用できること。
• 非一様な重み付けの複雑性が増しても、低時間計算量を維持できる効率的な学習アルゴリズムを開発すること。
• 計算効率を損なわず、欠損データに任意の重み付け方式をサポートすること。
• 非一様な重み付けが推薦システムにおける性能向上に寄与することを示し、同時にトレーニングのスケーラビリティを維持すること。

提案手法

• 各エントリごとの重みを用いた行列分解を最適化するための要素単位の逐次最小二乗法（eALS）を提案し、欠損データの寄与度に対して細かく制御可能にする。
• 非一様な重みを圧縮してコンactに表現するため、重み行列にトレuncated特異値分解（SVD）を適用し、ストレージと計算のオーバーヘッドを低減する。
• eALSにおける中間変数のメモ化を実装し、重複計算を回避することで、時間計算量が行列全体のサイズではなく観測されたエントリ数にのみ依存するように保証する。
• 最適化コストが観測データ量に線形に比例する高速な学習パイプラインを設計し、高次元かつスパースな行列に対しても適している。
• 行または列ベース、ユーザー固有、または人気度に基づいた重み付けなど、任意の重み付け戦略をサポートする。
• 重み圧縮とメモ化技術を統合することで、複雑で非一様な重みをすべての欠損エントリに適用しても、依然として効率性を維持できる。

実験結果

リサーチクエスチョン

• RQ1 スパースな推薦システムにおける行列分解の性能向上に、欠損データへの非一様な重み付けが寄与するか？
• RQ2 行列分解において欠損データに非一様な重み付けを適用しても、計算効率を維持できるか？
• RQ3 重み圧縮とメモ化を組み合わせた提案手法 eALS は、標準的な WALS やネガティブサンプリングベースラインと比べて、速度と精度の面で優れているか？
• RQ4 ミリオン単位の欠損エントリを含む高次元でスパースな行列に対しても、この手法は効果的にスケーリングできるか？
• RQ5 人気度に基づくなど、複雑なアプリケーション固有の重み付け戦略（例：人気ベース）を性能の低下を伴わずにサポートできるか？

主な発見

• 提案された高速な eALS 法は、観測エントリ数に比例する時間計算量を達成しており、非常に大規模でスパースな行列に対しても高い効率性を発揮する。
• 実証的に、2つの公開ベンチマークデータセット上で、非一様な重み付けが一様な重み付けよりも推薦タスクにおける性能を向上させることを示した。
• ユーザー・アイテム固有の重み付けを含む任意の重み付け戦略をサポートしながらも、トレーニング速度に影響を与えない。
• 重み行列にトレuncated SVD を適用することで、メモリ使用量の削減と計算の高速化が達成され、大規模データにおけるスケーラブルな学習を可能にした。
• 実験結果から、予測精度と収束安定性の両面で、一様重み付け WALS やネガティブサンプリングベースラインを上回ることが示された。
• この手法は、先行研究の一般化であり、[28] の手法の特別なケースを正確に再構築可能である。