[論文レビュー] denoiseR: A Package for Low Rank Matrix Estimation

Julie Josse, Sylvain Sardy+1 more|arXiv (Cornell University)|Feb 3, 2016

Blind Source Separation Techniques参考文献 4被引用数 11

ひとこと要約

本稿では、柔らかくしきり処理、適応トレースノルム、ブートストラップベースの正則化といった高度な特異値縮小法を実装した、正則化された低ランク行列推定のためのRパッケージdenoiseRを紹介する。また、SUREおよびGSUREを用いた正則化パラメータの自動選択も可能である。このパッケージは、行列補完を用いて欠損値を含むデータに対しても拡張され、カウントデータや連続行列を含む多様なデータタイプにおけるノイズ除去と補完を改善する。

ABSTRACT

We introduce denoiseR, an R package that provides a unified implementation of several state-of-the-art proposals for regularized low rank matrix estimation, along with automatic selection of the regularization parameters. We also extend these methods to allow for missing values. The regularization schemes discussed in this paper are built around singular-value shrinkage and bootstrap-based stability arguments. We illustrate how to use out package by applying it to several real and simulated datasets, and highlight strengths and weaknesses of the different implemented methods.

研究の動機と目的

• 最先端の正則化された低ランク行列推定手法を統合的かつ使いやすいRインターフェースで提供すること。
• スティーンの不偏リスク推定（SURE）および一般化されたSURE（GSURE）を用いた正則化パラメータの自動選択を可能にすること。
• 行列補完を用いて欠損値を含むデータに対しても低ランク推定手法を拡張すること。
• 適切なノイズモデルと縮小戦略を用いて、カウントデータや連続行列を含む多様なデータタイプをサポートすること。
• クラスタリング、対応分析、データ補完といった下流タスクを、強固なノイズ除去によって向上させること。

提案手法

• 特異値をしきり処理する手法として、しきり値λ未満の特異値を0に設定し、それ以外の特異値をλだけ減じる。
• 2つのパラメータ（λ, γ）を用いた適応的トレースノルム（ATN）正則化を適用し、特異値の非一様な縮小を可能にする。
• カウントデータや指数型分布族のノイズモデルに対して、ブートストラップベースの正則化を用いて安定性と正確性を向上させる。
• 完全なデータおよび不完全なデータの両設定において、スティーンの不偏リスク推定（SURE）および一般化されたSURE（GSURE）を用いて正則化パラメータを自動選択する。
• SUREを不完全な行列に適応させ、不完全データに対する行列補完を拡張するとともに、カウントデータのための新しい補完手法を導入する。
• SURE、GSURE、QUTの複数の手法をサポートする統合インターフェースを提供する`adashrink`関数を実装する。

実験結果

リサーチクエスチョン

• RQ1 古典的な切り捨て特異値分解（SVD）を超えて、正則化が低ランク行列推定をどのように改善できるか？
• RQ2 SUREおよびGSUREは、低ランク行列推定における最適な正則化パラメータの選択にどの程度有効か？
• RQ3 ブートストラップベースの正則化は、カウントデータや他の非ガウス型ノイズモデルにおいて、低ランク推定を効果的に安定化できるか？
• RQ4 さまざまな信号対雑音比（SNR）において、異なる縮小手法の平均二乗誤差（MSE）はどのように比較されるか？
• RQ5 正則化された低ランク推定は、クラスタリングや欠損値を含む行列補完といった下流タスクをどの程度向上できるか？

主な発見

• SUREベースの正則化を施したソフトしきり処理推定器は、低信号対雑音比（SNR）のデータにおいて低い平均二乗誤差（MSE）を達成する。
• 適応的トレースノルム（ATN）推定器は、高SNR領域において標準的なSVDやソフトしきり処理よりも優れた性能を示す。
• SUREおよびGSUREにより、交差検証やノイズ分散の事前知識を必要とせずに正則化パラメータを自動選択できる。
• このパッケージは、不完全なデータに対しても正則化を効果的に拡張し、ベースライン手法よりも精度の高い行列補完を可能にした。
• 腫瘍遺伝子発現データにおけるクラスタリングタスクでは、ATNによるノイズ除去が、切り捨てSVDよりもより一貫性のあるクラスタを生成し、階層的クラスタリングの可視化で明確な分離が得られた。
• カウントデータのための新しい補完手法は、特にジャーナルインパクトファクタデータセットにおいて、既存の手法を上回る性能を示した。