[論文レビュー] Low Rank Approximation of Binary Matrices: Column Subset Selection and Generalizations

Fomin, Fedor V., Golovach, Petr A.+1 more|arXiv (Cornell University)|Nov 5, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用数 5

ひとこと要約

本稿は、列サブセット選択（CSS）および一般化CSS（GCSS）を用いた二値行列の低ランク近似を研究し、GF(2)およびブールモデルにおける近似バウンドを証明する。GF(2)モデルでは、CSSがk/2 + 1 + k/(2(2^k−1))の近似比を達成することを示し、これは漸近的にタイトである。一方、ブールモデルに対応するためGCSSを導入し、kに指数関数的依存する2^k−1 + 1の近似比を達成する。

ABSTRACT

Low rank matrix approximation is an important tool in machine learning. Given a data matrix, low rank approximation helps to find factors, patterns and provides concise representations for the data. Research on low rank approximation usually focus on real matrices. However, in many applications data are binary (categorical) rather than continuous. This leads to the problem of low rank approximation of binary matrix. Here we are given a $d imes n$ binary matrix $A$ and a small integer $k$. The goal is to find two binary matrices $U$ and $V$ of sizes $d imes k$ and $k imes n$ respectively, so that the Frobenius norm of $A - U V$ is minimized. There are two models of this problem, depending on the definition of the dot product of binary vectors: The $\mathrm{GF}(2)$ model and the Boolean semiring model. Unlike low rank approximation of real matrix which can be efficiently solved by Singular Value Decomposition, approximation of binary matrix is $NP$-hard even for $k=1$. In this paper, we consider the problem of Column Subset Selection (CSS), in which one low rank matrix must be formed by $k$ columns of the data matrix. We characterize the approximation ratio of CSS for binary matrices. For $GF(2)$ model, we show the approximation ratio of CSS is bounded by $\frac{k}{2}+1+\frac{k}{2(2^k-1)}$ and this bound is asymptotically tight. For Boolean model, it turns out that CSS is no longer sufficient to obtain a bound. We then develop a Generalized CSS (GCSS) procedure in which the columns of one low rank matrix are generated from Boolean formulas operating bitwise on columns of the data matrix. We show the approximation ratio of GCSS is bounded by $2^{k-1}+1$, and the exponential dependency on $k$ is inherent.

研究の動機と目的

• 二値行列の低ランク近似における理論的ギャップを埋めること、これはk=1に対してもNP困難である。
• GF(2)およびブール半環の2つのモデルにおける二値行列に対する列サブセット選択（CSS）の近似性能を分析すること。
• ブールモデルにおける近似を向上させるために、列に対するビット単位の論理式を用いる一般化CSS（GCSS）フレームワークを開発すること。
• 両モデルにおけるタイトな近似比を確立し、ブールモデルにおける本質的な指数的複雑性を示すこと。

提案手法

• 元の二値行列Aからk個の列のみを用いて低ランク近似を構成するための列サブセット選択（CSS）を提案する。
• 有限体GF(2)上で定義された行列積を用いるGF(2)モデルを分析する。ここでドット積は要素ごとの積のXOR和として定義される。
• ブールモデルに対して一般化CSS（GCSS）を導入する。ここで行列積は論理積（AND）および論理和（OR）演算を用い、列の論理的組み合わせを許容する。
• 集合被覆および行列分解の議論を含む組合せ的・代数的技法を用いて近似バウンドを導出する。
• 残差誤差を再帰的に誤差集合Eℓ_iおよびFℓ1,ℓ2_iに分解し、近似比をバウンドする。
• ハダマード行列およびテンソル積構成を用いて、硬さおよび近似下界を証明する。{−1,1}設定から{0,1}設定に技術を適応する。

実験結果

リサーチクエスチョン

• RQ1 GF(2)モデルにおいて、二値行列の低ランク近似に対して列サブセット選択（CSS）が達成可能な最良の近似比は何か？
• RQ2 ブールモデルにおいて、CSSのみで定数または多項式近似比を達成できるか、それともより一般的な枠組みが必要か？
• RQ3 ブールモデルにおける低ランク近似の本質的複雑性は何か？また、kに指数的依存が必要か？
• RQ4 GCSSの近似比はタイトか？また、二値低ランク近似の根本的限界を捉えているか？
• RQ5 正確な二値低ランク近似の硬さは、最大二項形式問題など既知の難問に還元可能か？

主な発見

• GF(2)モデルにおいて、CSSの近似比はk/2 + 1 + k/(2(2^k−1))でバウンドされ、kが増加するにつれて漸近的にタイトであることが示された。
• ブールモデルにおいて、標準的なCSSでは有界な近似比を達成できない。一般化されたアプローチが必須である。
• 提案された一般化CSS（GCSS）は、ブールモデルにおいて2^k−1 + 1の近似比を達成する。このkに依存する指数的依存は本質的である。
• 本稿では、k=1に対しても正確な低ランク近似がNP困難であることを証明し、問題の計算的非効率性を確認した。
• 最大二項形式問題から二値低ランク近似への還元を確立し、問題の硬さが根本的であり避けられないことを示した。