[論文レビュー] Expectile Matrix Factorization for Skewed Data Analysis

Rui Zhu, Di Niu+2 more|arXiv (Cornell University)|Jun 7, 2016

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、歪んだデータをモデル化するために最小二乗法の代わりに非対称最小二乗法を用いる期待値行列分解（EMF）を提案する。EMFは平均の代わりに条件付き期待値を推定することで、歪んだデータにおける回復精度を向上させる。特に、ω=0.1のとき中央値に近い中央傾向を推定することができ、ウェブサービスの遅延などの歪んだ実世界データにおいて、標準的な行列分解を上回る性能を発揮する。

ABSTRACT

Matrix factorization is a popular approach to solving matrix estimation problems based on partial observations. Existing matrix factorization is based on least squares and aims to yield a low-rank matrix to interpret the conditional sample means given the observations. However, in many real applications with skewed and extreme data, least squares cannot explain their central tendency or tail distributions, yielding undesired estimates. In this paper, we propose \emph{expectile matrix factorization} by introducing asymmetric least squares, a key concept in expectile regression analysis, into the matrix factorization framework. We propose an efficient algorithm to solve the new problem based on alternating minimization and quadratic programming. We prove that our algorithm converges to a global optimum and exactly recovers the true underlying low-rank matrices when noise is zero. For synthetic data with skewed noise and a real-world dataset containing web service response times, the proposed scheme achieves lower recovery errors than the existing matrix factorization method based on least squares in a wide range of settings.

研究の動機と目的

• ウェブ遅延やユーザ行動など、実世界の応用で一般的な歪んだ分布および重たい尾を持つデータを扱う際、従来の行列分解の限界を解消すること。
• 条件付き期待値を推定する行列分解フレームワークを構築し、中央傾向と尾部の挙動の両方をより良くモデル化すること。
• 外れ値や極端な値の影響を軽減する、最小二乗法に基づく行列分解のロバストな代替手法を提供すること。
• 期待値レベル ω ∈ (0,1) を調整することで、データ分布の異なる部分に焦点を当てた柔軟なモデル化を可能にすること。
• 理論的および実験的検証を通じて、合成データおよび実世界の歪んだデータセットにおける、提案手法の収束性と優れた回復性能を裏付けること。

提案手法

• 期待値回帰に基づく非対称最小二乗損失関数を導入し、期待値レベル ω に応じて正の残差と負の残差に異なるペナルティを割り当てる。
• 非凸なEMF問題を解くために、交互最小化アルゴリズムを提案。各部分問題は効率性を考慮し、二次計画法で解く。
• 2段階の更新スキームを実装：ユーザー要因行列とアイテム要因行列を交互に最適化しながら、低ランク構造を維持する。
• ノイズなしの場合に真の低ランク行列へのグローバル収束を理論的に証明し、理想状態下での正確な回復を保証する。
• 期待値レベル ω を調整することで、過小推定と過大推定への感受性を制御し、データ分布の異なる分位数のモデル化を可能にする。
• 観測済みエントリの非対称損失を最小化することで行列補完タスクに適用し、未観測エントリを条件付き期待値として回復することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 期待値行列分解（EMF）は、標準的な最小二乗法に基づく行列分解と比較して、歪んだデータにおける行列回復性能を向上させることができるか？
• RQ2 期待値レベル ω の選択が、データ分布の異なる領域における行列回復の精度にどのように影響するか？
• RQ3 EMFは従来の行列分解よりも外れ値や重たい尾のノイズに対してより高いロバスト性を示すか？
• RQ4 ω < 0.5 を選択することで、EMFは歪んだデータの中央傾向（例：中央値）を効果的にモデル化できるか？
• RQ5 提案された交互最小化アルゴリズムは、ノイズなし設定においてグローバル最適解に収束することが保証されるか？

主な発見

• 実世界のウェブサービス遅延データにおいて、ω=0.1 のEMFが、標準的な行列分解（ω=0.5）および他の期待値レベルを上回る、最小の総回復誤差を達成した。
• 低遅延帯（0–0.3秒）では、EMF-0.1 が相対誤差の中央値および四分位範囲（IQR）が最も良く、中央傾向のモデル化における有効性を裏付けた。
• 高遅延帯（3.1–20秒）では、EMF-0.9 が最も優れた性能を示し、高いω値が尾部推定に適していることを示した。
• 歪んだノイズを含む合成実験において、EMF（ω=0.1）は、MSEに基づく行列分解と比較して広範な設定で顕著に低い回復誤差を示した。
• 提案された交互最小化アルゴリズムは、ノイズなしの場合にグローバル最適解に収束することが証明され、理想状態下での理論的収束性を裏付けた。
• 実際のウェブ遅延データに対して標準的な行列分解を適用した残差ヒストограмは依然として著しく歪んでおり、平均に基づく推定が中央傾向のモデル化に偏って不適切であることが示された。