[논문 리뷰] Low Rank Approximation of Binary Matrices: Column Subset Selection and Generalizations

Fomin, Fedor V., Golovach, Petr A.외 1명|arXiv (Cornell University)|2015. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 5

한 줄 요약

이 논문은 이진 행렬의 저질서 근사에 대해 열 서브셋 선택(Column Subset Selection, CSS)과 일반화된 CSS(GCSS)를 사용하여 연구하며, GF(2) 및 부울 모델에 대해 근사 경계를 증명한다. GF(2) 모델에서 CSS는 k/2 + 1 + k/(2(2^k−1))의 근사 비율을 달성하며, 이는 渐近적으로 날카로운 경계이다. 또한 부울 모델을 다루기 위해 GCSS를 도입하여, k에 대한 본질적인 지수적 의존성을 포함한 2^k−1 + 1의 근사 비율을 달성한다.

ABSTRACT

Low rank matrix approximation is an important tool in machine learning. Given a data matrix, low rank approximation helps to find factors, patterns and provides concise representations for the data. Research on low rank approximation usually focus on real matrices. However, in many applications data are binary (categorical) rather than continuous. This leads to the problem of low rank approximation of binary matrix. Here we are given a $d imes n$ binary matrix $A$ and a small integer $k$. The goal is to find two binary matrices $U$ and $V$ of sizes $d imes k$ and $k imes n$ respectively, so that the Frobenius norm of $A - U V$ is minimized. There are two models of this problem, depending on the definition of the dot product of binary vectors: The $\mathrm{GF}(2)$ model and the Boolean semiring model. Unlike low rank approximation of real matrix which can be efficiently solved by Singular Value Decomposition, approximation of binary matrix is $NP$-hard even for $k=1$. In this paper, we consider the problem of Column Subset Selection (CSS), in which one low rank matrix must be formed by $k$ columns of the data matrix. We characterize the approximation ratio of CSS for binary matrices. For $GF(2)$ model, we show the approximation ratio of CSS is bounded by $\frac{k}{2}+1+\frac{k}{2(2^k-1)}$ and this bound is asymptotically tight. For Boolean model, it turns out that CSS is no longer sufficient to obtain a bound. We then develop a Generalized CSS (GCSS) procedure in which the columns of one low rank matrix are generated from Boolean formulas operating bitwise on columns of the data matrix. We show the approximation ratio of GCSS is bounded by $2^{k-1}+1$, and the exponential dependency on $k$ is inherent.

연구 동기 및 목표

• 이진 행렬의 저질서 근사에 대한 이론적 격차를 메우기 위해, 이는 k=1일 때조차 NP-난해하다.
• GF(2) 및 부울 세미링 두 모델 하에서 이진 행렬에 대한 열 서브셋 선택(CSS)의 근사 성능을 분석하기 위해.
• 부울 모델에서의 근사를 향상시키기 위해 열의 비트 단위 부울 공식을 사용하는 일반화된 CSS(GCSS) 프레임워크를 개발하기 위해.
• 두 모델에 대해 날카로운 근사 비율을 확립하여, 부울 모델의 경우 본질적인 지수적 복잡도를 보여주기 위해.

제안 방법

• 원래의 이진 행렬 A에서 k개의 열만을 사용하여 저질서 근사를 형성하기 위해 열 서브셋 선택(CSS)을 제안한다.
• 유한체 GF(2)에서 정의된 행렬 곱셈을 고려하는 GF(2) 모델을 분석하며, 내적은 요소별 곱의 XOR 합으로 정의된다.
• 부울 모델을 위한 일반화된 CSS(GCSS)를 도입하며, 여기서 행렬 곱셈은 논리적 AND와 OR 연산을 사용하여 열의 부울 조합을 허용한다.
• 집합 커버 및 행렬 분해 추론과 같은 조합 및 대수 기법을 사용하여 근사 경계를 유도한다.
• 잔차 오차를 오차 집합 Eℓ_i 및 Fℓ1,ℓ2_i로 재귀적으로 분해하여 근사 비율을 유계화한다.
• 하다마드 행렬과 텐서 곱 생성을 사용하여 난이도와 근사 하한선을 증명하며, {−1,1} 설정에서 {0,1} 설정으로 기법을 적응시킨다.

실험 결과

연구 질문

• RQ1 GF(2) 모델에서 이진 행렬의 저질서 근사에 대해 열 서브셋 선택(CSS)이 달성할 수 있는 최선의 근사 비율은 무엇인가?
• RQ2 부울 모델에서 CSS만으로는 상수 또는 다항식 근사 비율을 달성할 수 있는가, 아니면 더 일반적인 프레임워크가 필요한가?
• RQ3 부울 모델에서의 저질서 근사의 본질적 복잡도는 무엇이며, k에 대해 지수적 의존성이 필요한가?
• RQ4 GCSS의 근사 비율은 날카로운가, 그리고 이는 이진 저질서 근사의 기본 한계를 포괄하는가?
• RQ5 정확한 이진 저질서 근사의 난이도는 최대 이항형 제곱 형식과 같은 알려진 난이도 문제로 감소시킬 수 있는가?

주요 결과

• GF(2) 모델에서 CSS의 근사 비율은 k/2 + 1 + k/(2(2^k−1))로 유계지며, k가 증가함에 따라 渐近적으로 날카로운 경계이다.
• 부울 모델에서 표준 CSS는 유계 근사 비율을 달성할 수 없다; 일반화된 접근이 필요하다.
• 제안된 일반화된 CSS(GCSS)는 부울 모델에서 2^k−1 + 1의 근사 비율을 달성하며, 이 k에 대한 지수적 의존성은 본질적이다.
• 논문은 k=1일 때조차 정확한 이진 행렬의 저질서 근사가 NP-난해하다는 것을 증명하여 문제의 계산적 비가역성을 확인한다.
• 최대 이항형 제곱 형식 문제에서 이진 저질서 근사로의 감소를 확립하여, 문제의 난이도가 본질적이고 피할 수 없다는 것을 보여준다.