[논문 리뷰] Matrix factorization with Binary Components

Martin Slawski, Matthias Hein외 1명|arXiv (Cornell University)|2014. 01. 23.

Error Correcting Code Techniques참고 문헌 23인용 수 12

한 줄 요약

이 논문은 이산 성분을 가진 왼쪽 인자 $T \in \{0,1\}^{m \times r}$를 갖는 저질서 행렬 분해를 위한 증명 가능하게 정확한 알고리즘을 제안한다. 이는 조합 기하학과 Littlewood-Offord 보조정리를 활용하여 $O(mr2^r + mnr + r^2n)$의 시간 복잡도로 정확한 분해를 복원한다. 방법은 분리 가능성 조건 또는 무작위 $T$ 조건 하에서 정확한 복원을 보장하며, 데이터 크기 $m$과 $n$에 대해 선형적으로 스케일링되며, 오직 질서 $r$에만 지수적 의존성이 있다.

ABSTRACT

Motivated by an application in computational biology, we consider low-rank matrix factorization with $\{0,1\}$-constraints on one of the factors and optionally convex constraints on the second one. In addition to the non-convexity shared with other matrix factorization schemes, our problem is further complicated by a combinatorial constraint set of size $2^{m \cdot r}$, where $m$ is the dimension of the data points and $r$ the rank of the factorization. Despite apparent intractability, we provide - in the line of recent work on non-negative matrix factorization by Arora et al. (2012) - an algorithm that provably recovers the underlying factorization in the exact case with $O(m r 2^r + mnr + r^2 n)$ operations for $n$ datapoints. To obtain this result, we use theory around the Littlewood-Offord lemma from combinatorics.

연구 동기 및 목표

• 한 인자에 대한 이진 제약 조건이 있는 정확한 저질서 행렬 분해 문제에 도전하며, 이는 비볼록성과 $2^{m \cdot r}$개의 가능한 이진 행렬로 인한 조합 폭발로 인해 복잡하다.
• 분리 가능성 또는 무작위 $T$ 가정 하에 $D = TA$의 정확한 분해를 위한 이론적 보장을 제공하며, $T \in \{0,1\}^{m \times r}$ 및 $A \in \mathbb{R}^{r \times n}$이다.
• 데이터 차원 $m$과 $n$에 대해 선형적으로 스케일링되며, 질서 $r$에만 지수적 의존성이 있는 알고리즘을 개발하여, $r$이 작을 경우 큰 $m$에 대해서도 실용적으로 적용 가능하도록 한다.
• 근사 경우 $D \approx TA$로의 확장을 다루며, 히우리스틱 방법보다 뛰어난 경험적 성능을 보여준다.
• 분리 가능성 또는 무작위 $T$ 모델 하에서 정확한 분해의 유일성을 확립하고, $A$에 대한 비음성 제약 조건 등 추가 제약 조건으로의 확장을 가능하게 한다.

제안 방법

• 분리 가능성 조건 하에서, 이진 성분의 애핀 스팬(affine hull)에 대한 기하학적 통찰을 활용하여 유효한 분해를 식별한다. 이때, 애핀 스팬 $\text{aff}(T)$에는 초입방체 $[0,1]^m$의 정점 중 오직 $r$개만 포함된다.
• 조합론의 Littlewood-Offord 보조정리를 적용하여, 임의의 벡터가 $T$의 애핀 스팬과 초입방체 정점의 교차에 속할 확률을 근사하여, 무작위 $T$ 조건 하에서 복원 가능성을 보장한다.
• 알고리즘에서 $T$가 알려진 경우, 선형 프로그래밍을 통해 $A$를 복원하기 위한 볼록 최적화 프레임워크를 구축하며, $A^T \mathbf{1}_r = \mathbf{1}_n$의 제약 조건을 통해 애핀 조합을 보장한다.
• 두 단계 알고리즘을 제안한다: 첫 번째 단계에서 $\text{aff}(T)$ 내의 $[0,1]^m$의 정점들을 식별하여 $T$를 복원하고, 두 번째 단계에서 최소 제곱법 또는 선형 프로그래밍을 통해 $A$를 구한다.
• 근사 경우는 $T \in \{0,1\}^{m \times r}$ 및 $A^T \mathbf{1}_r = \mathbf{1}_n$ 제약 조건 하에 $\|TA - D\|_F$를 최소화하는 방식으로 다루며, 근사 또는 반복 개선 전략을 사용한다.
• 무작위 행렬 이론을 활용하여, $p \in (0,1)$이 0 또는 1에서 벗어나는 베르누이 분포에서 독립적으로 추출된 $T$에 대해, $T$의 애핀 스팬이 $\{-1,1\}^m$과 교차하는 점이 $\pm T_{:,k}$ 이외에는 거의 존재하지 않음을 보여주며, 이는 복원 가능성을 보장한다.

실험 결과

연구 질문

• RQ1 이진 성분이 있는 정확한 행렬 분해가 $2^{m \cdot r}$개의 가능한 $T$ 행렬로 인한 조합 폭발에도 불구하고 다항식 시간 내에 복원될 수 있는가?
• RQ2 이진 행렬 분해 $D = TA$가 어떤 조건에서 유일한가? 이러한 조건은 알고리즘적으로 어떻게 활용될 수 있는가?
• RQ3 조합론의 Littlewood-Offord 보조정리를 사용하여, $T$가 무작위로 생성된 경우 정확한 복원을 위한 확률적 보장을 확립할 수 있는가?
• RQ4 제안된 알고리즘이 데이터 크기 $m$과 $n$에 대해 어떻게 스케일링되는가? $r$이 작을 경우 큰 $m$에 대해서도 실용적으로 유지될 수 있는가?
• RQ5 근사 분해 설정 $D \approx TA$에서 이 알고리즘이 히우리스틱 방법보다 뛰어난 성능을 보이는가?

주요 결과

• 분해가 존재하고 분리 가능성 조건이 만족될 경우, 알고리즘이 $O(mr2^r + mnr + r^2n)$의 연산 수로 정확한 분해 $D = TA$를 증명 가능하게 복원한다.
• 무작위로 추출된 $T$에 대해 $p \in (0.01, 0.99)$인 베르누이 분포를 사용한 실험 결과, $\text{aff}(T) \cap \{-1,1\}^m$에 정확히 $r$개의 정점만 존재하는 것으로 나타났으며, 이는 높은 확률로 유일성과 복원 가능성을 의미한다.
• 합성 실험에서, 특히 데이터 포인트가 중심점에 가까운 $T0.5, A_{\text{dense}}$ 설정에서, 제안된 방법은 HOTTOPIXX보다 훨씬 낮은 재구성 오차 $\|TA - D\|_F$ 를 달성한다.
• 비음성 제약 조건이 $A$에 추가되어도 알고리즘은 효과적으로 유지되며, 동일한 조건 하에서 정확성과 복원 가능성 보장이 확장되기 때문이다.
• 알고리즘은 $m$과 $n$에 대해 선형적으로 스케일링되며, 오직 질서 $r$에만 지수적 의존성이 있다. 따라서 $r$이 작을 경우 대규모 데이터에 대해 실용적이다.
• DNA 메틸화 데이터에 대한 경험적 결과는 생물학적 서명을 분리하는 데서 이 방법의 실용적 유용성을 확인하며, 히우리스틱 대안들보다 뛰어난 성능을 보여준다.