[論文レビュー] Matrix factorization with Binary Components

Martin Slawski, Matthias Hein+1 more|arXiv (Cornell University)|Jan 23, 2014

Error Correcting Code Techniques参考文献 23被引用数 12

ひとこと要約

本稿では、左因子 $T \in \{0,1\}^{m \times r}$ における二値成分を有する低ランク行列分解に対して、組合せ幾何学と Littlewood-Offord の補題を用いて、$O(mr2^r + mnr + r^2n)$ 時間で正確な因子分解を保証するアルゴリズムを提案する。この手法は分離性またはランダムな $T$ 条件の下で正確な回復を保証し、データサイズ $m$ と $n$ に対して線形にスケーリングされるが、指数関数的依存はランク $r$ のみに限定される。

ABSTRACT

Motivated by an application in computational biology, we consider low-rank matrix factorization with $\{0,1\}$-constraints on one of the factors and optionally convex constraints on the second one. In addition to the non-convexity shared with other matrix factorization schemes, our problem is further complicated by a combinatorial constraint set of size $2^{m \cdot r}$, where $m$ is the dimension of the data points and $r$ the rank of the factorization. Despite apparent intractability, we provide - in the line of recent work on non-negative matrix factorization by Arora et al. (2012) - an algorithm that provably recovers the underlying factorization in the exact case with $O(m r 2^r + mnr + r^2 n)$ operations for $n$ datapoints. To obtain this result, we use theory around the Littlewood-Offord lemma from combinatorics.

研究の動機と目的

• 一方の因子に二値制約を課した正確な低ランク行列分解の挑戦に取り組むこと。この問題は非凸性と $2^{m \cdot r}$ 個の可能な二値行列に起因する組合せ的爆発性によって複雑化される。
• 分離性またはランダムな $T$ の仮定の下で、$T \in \{0,1\}^{m \times r}$ および $A \in \mathbb{R}^{r \times n}$ の因子分解 $D = TA$ の正確な回復に関する理論的保証を提供すること。
• データ次元 $m$ と $n$ に対して線形にスケーリングされ、指数関数的依存がランク $r$ のみに限定されるアルゴリズムを開発すること。これにより、$r$ が小さい場合に $m$ が大きくても実行可能になる。
• 近似ケース $D \approx TA$ にこのアプローチを拡張し、ヒューリスティック手法よりも優れた経験的性能を示すこと。
• 分離性またはランダムな $T$ モデルの下で、正確な因子分解の一意性を確立し、$A$ に非負性制約を追加するなど、追加制約への拡張を可能にすること。

提案手法

• 分離性の下で、$\text{aff}(T)$ に含まれるハイパーキューブ $[0,1]^m$ の頂点は $r$ 個に限られることを活用し、幾何的洞察を用いて有効な因子分解を同定する。
• 組合せ論の Littlewood-Offord の補題を適用し、ランダムなベクトルが $T$ のアフィン包とハイパーキューブの頂点の共通部分に属する確率を抑え、ランダムな $T$ の下での回復を保証する。
• $T$ が既知のとき、$A^T \mathbf{1}_r = \mathbf{1}_n$ の制約を用いてアフィン結合を保証し、線形計画法による $A$ の回復のための凸最適化フレームワークを構築する。
• 二段階のアルゴリズムを提案する：まず、$\text{aff}(T)$ に含まれる $[0,1]^m$ の頂点を特定して $T$ を回復し、次に最小二乗法または線形計画法で $A$ を解く。
• 近似ケースでは、$T \in \{0,1\}^{m \times r}$ および $A^T \mathbf{1}_r = \mathbf{1}_n$ の制約の下で $\|TA - D\|_F$ を最小化するようにし、貪欲法または反復的改善戦略を用いる。
• 確率的行列理論を用いて、$p \in (0,1)$ で 0 や 1 から離れたベルヌーイ分布から独立同分布に $T$ を抽出した場合、$T$ のアフィン包が $\{-1,1\}^m$ と交差するのは $\pm T_{:,k}$ のみである確率が非常に高いことを示し、これにより回復が可能になる。

実験結果

リサーチクエスチョン

• RQ1 $2^{m \cdot r}$ 個の可能な $T$ 行列に起因する組合せ的爆発性があるにもかかわらず、正確な行列分解を多項式時間で回復できるか？
• RQ2 二値行列因子分解 $D = TA$ が一意となる条件は何か？ そして、これらの条件をアルゴリズム的に活用できるか？
• RQ3 組合せ論の Littlewood-Offord の補題を用いて、$T$ がランダムに生成された場合の正確な回復に関する確率的保証を確立できるか？
• RQ4 提案されたアルゴリズムはデータサイズ $m$ と $n$ に対してどのようにスケーリングされるか？ また、$r$ が小さい場合に $m$ が大きくても実行可能であるか？
• RQ5 近似因子分解設定 $D \approx TA$ において、このアルゴリズムはヒューリスティック手法を上回る性能を示すか？

主な発見

• 因子分解が存在し、分離性条件が満たされている場合、アルゴリズムは $O(mr2^r + mnr + r^2n)$ 操作で正確な因子分解 $D = TA$ を保証して回復する。
• $p \in (0.01, 0.99)$ のベルヌーイ分布から独立同分布に $T$ を抽出した場合、実験では $\text{aff}(T) \cap \{-1,1\}^m$ に正確に $r$ 個の頂点が存在する100%の試行が得られ、高い確率での一意性と回復可能性を示唆する。
• 合成実験では、特にデータポイントが重心付近に近い $T0.5, A_{\text{dense}}$ の設定で、HOTTOPIXX よりも著しく低い再構成誤差 $\|TA - D\|_F$ を達成する。
• $A$ に非負性と有界性制約が課されても、同じ条件下で一意性と回復保証が拡張されるため、この手法は依然として有効である。
• アルゴリズムは $m$ と $n$ に対して線形にスケーリングされ、指数関数的依存は $r$ のみに限定されるため、$r$ が小さい場合に大規模データに対して実用的である。
• DNA メチル化データに対する実験結果は、生物学的シグネチャのアンミキシングにおいてこの手法の実用的有用性を確認しており、ヒューリスティック代替手法を上回る性能を示している。