[논문 리뷰] Provably Correct Algorithms for Matrix Column Subset Selection with Selectively Sampled Data

Yining Wang, Aarti Singh|arXiv (Cornell University)|2015. 05. 17.

Sparse and Compressive Sensing Techniques참고 문헌 36인용 수 6

한 줄 요약

이 논문은 부분적으로 관측된 데이터 하에서 행렬 열 부분집합 선택에 대해 증명 가능하게 올바른 알고리즘을 처음으로 제안하며, 이론적 보장을 갖는 피드백 기반 샘플링을 통해 열을 선택한다. 비일관된 행 조건 하에서 상대 오차 한계를 확립하여, 높이 상관된 행렬에서 균일 샘플링보다 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of matrix column subset selection, which selects a subset of columns from an input matrix such that the input can be well approximated by the span of the selected columns. Column subset selection has been applied to numerous real-world data applications such as population genetics summarization, electronic circuits testing and recommendation systems. In many applications the complete data matrix is unavailable and one needs to select representative columns by inspecting only a small portion of the input matrix. In this paper we propose the first provably correct column subset selection algorithms for partially observed data matrices. Our proposed algorithms exhibit different merits and limitations in terms of statistical accuracy, computational efficiency, sample complexity and sampling schemes, which provides a nice exploration of the tradeoff between these desired properties for column subset selection. The proposed methods employ the idea of feedback driven sampling and are inspired by several sampling schemes previously introduced for low-rank matrix approximation tasks (Drineas et al., 2008; Frieze et al., 2004; Deshpande and Vempala, 2006; Krishnamurthy and Singh, 2014). Our analysis shows that, under the assumption that the input data matrix has incoherent rows but possibly coherent columns, all algorithms provably converge to the best low-rank approximation of the original data as number of selected columns increases. Furthermore, two of the proposed algorithms enjoy a relative error bound, which is preferred for column subset selection and matrix approximation purposes. We also demonstrate through both theoretical and empirical analysis the power of feedback driven sampling compared to uniform random sampling on input matrices with highly correlated columns.

연구 동기 및 목표

• 실제 응용 분야인 유전체학 및 추천 시스템와 같이 데이터 행렬에 대한 부분적 액세스만 가능한 상황에서 열 부분집합 선택 문제에 도전한다.
• 관측된 행렬 원소의 부분 집합만을 사용하여 낮은 랭크 근사에 대한 이론적 보장을 제공하는 알고리즘을 개발한다.
• 기존 히우리스틱 방법의 한계를 극복하기 위해, 불완전한 데이터 행렬에 대해 증명 가능하게 올바른 샘플링 전략을 도입한다.
• 부분 관측 하에서 통계적 정확도, 계산 효율성, 샘플 복잡도, 샘플링 전략 간의 트레이드오프를 탐색한다.
• 특히 높이 상관된 열을 가진 행렬에서 피드백 기반 샘플링이 균일 랜덤 샘플링보다 뛰어나다는 것을 입증한다.

제안 방법

• 이전 낮은 랭크 근사 샘플링 기법들(예: Drineas 등, 2008; Frieze 등, 2004)에 영감을 얻은 피드백 기반 샘플링 전략을 제안하며, 이를 불완전한 데이터에 적응시킨다.
• 리지드 스코어와 행렬의 비일관성 가정—특히 비일관된 행이지만 가능할 경우 일관된 열이 존재하는 경우—을 활용하여 열 선택을 안내하고 이론적 수렴을 보장한다.
• 다양한 트레이드오프를 가진 여러 알고리즘을 설계: 일부는 계산 효율성을 중시하고, 다른 일부는 통계적 정확도 또는 샘플 복잡도를 우선시한다.
• 열 부분집합 선택 문제를 잔차의 프로베니우스 노름을 최소화하는 것으로 공식화한다: $ \|\mathbf{M} - \mathbf{C}\mathbf{C}^\dagger\mathbf{M}\|_F $, 여기서 $ \mathbf{C} $ 는 선택된 열 부분행렬이다.
• 선택된 열의 수가 증가함에 따라 원래 행렬의 최적 낮은 랭크 근사에 이론적으로 수렴함을 확립한다.
• 요아의 원리를 적용하고 딱딱한 입력 인스턴스를 구성하여 샘플 복잡도의 하한을 도출하며, 제안된 샘플링 전략의 최적성(최소 관측 수)을 증명한다.

실험 결과

연구 질문

• RQ1 관측 가능한 행렬의 소수의 부분적 데이터만 제공될 경우, 증명 가능하게 올바른 열 부분집합 선택 알고리즘을 설계할 수 있는가?
• RQ2 높이 상관된 열을 가진 행렬에서 피드백 기반 샘플링은 균일 랜덤 샘플링에 비해 근사 정확도에서 어떻게 비교되는가?
• RQ3 부분 관측 하에서 열 부분집합 선택의 통계적 정확도, 계산 효율성, 샘플 복잡도 간의 트레이드오프는 무엇인가?
• RQ4 어떤 조건에서 제안된 알고리즘이 애드디티브 오차 한계가 아닌 상대 오차 한계를 달성하는가?
• RQ5 입력 행렬의 행은 비일관되지만 열은 가능하게 일관될 수 있는 경우, 열 부분집합 선택에 대해 이론적 보장을 확립할 수 있는가?

주요 결과

• 비일치된 행 조건 하에서 선택된 열의 수가 증가함에 따라 제안된 알고리즘은 원래 행렬의 최적 낮은 랭크 근사에 증명 가능하게 수렴한다.
• 제안된 알고리즘 중 두 개는 상대 오차 한계 $ \|\mathbf{M} - \mathbf{C}\mathbf{C}^\dagger\mathbf{M}\|_F \leq c\|\mathbf{M} - \mathbf{M}_k\|_F $ 를 달성하며, 여기서 $ c = 1 + \epsilon $ 이다. 이는 행렬 근사 및 열 부분집합 선택에서 선호되는 형태이다.
• 피드백 기반 샘플링은 높이 상관된 열을 가진 행렬에서 균일 랜덤 샘플링보다 이론적으로나 실험적으로 뛰어나게 성능을 발휘한다.
• 알고리즘의 샘플 복잡도는 유계이며, 요아의 원리를 통해 유도된 하한은 샘플링 전략이 관측이 필요한 수를 최소화하는 데 거의 최적임을 보여준다.
• 이론적 분석은 행렬의 일부 분할만 관측되더라도 행 비일관성 조건이 만족될 경우 알고리즘이 강력한 근사 보장을 유지함을 확인한다.
• 이 프레임워크는 정확도, 효율성, 샘플 크기 간의 균형을 체계적으로 탐색할 수 있게 하며, 불완전한 데이터를 가진 실세계 응용에 유연한 도구를 제공한다.