[논문 리뷰] Low-Rank Boolean Matrix Approximation by Integer Programming

Réka Á. Kovács, Oktay Günlük외 1명|arXiv (Cornell University)|2018. 03. 13.

Sparse and Compressive Sensing Techniques참고 문헌 13인용 수 3

한 줄 요약

이 논문은 다항수로 변수와 제약 조건을 가지는 최초의 혼합정수계획법(MIP) 설정을 제안하며, 현실적인 문제 크기에서 정확한 해를 도출할 수 있도록 한다. 이 방법은 사전처리와 대칭성 감소를 통한 정수계획법을 활용하여 불리안 행렬 분해를 효율적으로 해결하며, SPECT, Primary Tumor, U.S. Congress 투표 기록을 포함한 합성 및 실세계 데이터셋에서 고품질의 근사값을 달성한다.

ABSTRACT

Low-rank approximations of data matrices are an important dimensionality reduction tool in machine learning and regression analysis. We consider the case of categorical variables, where it can be formulated as the problem of finding low-rank approximations to Boolean matrices. In this paper we give what is to the best of our knowledge the first integer programming formulation that relies on only polynomially many variables and constraints, we discuss how to solve it computationally and report numerical tests on synthetic and real-world data.

연구 동기 및 목표

• 저랭크 불리안 행렬 근사 문제에 대해 정확하고 계산적으로 실현 가능한 방법을 개발하는 것. 이는 NP-완전 문제이며 일반적으로 휴리스틱 기법으로 해결된다.
• 불리안 행렬 근사 문제를 다항수로 많은 변수와 제약 조건을 가진 혼합정수계획법(MIP)으로 설정하여 상용 솔버를 통해 효율적으로 해를 구할 수 있도록 하는 것.
• 이전에는 휴리스틱 근사 기법을 통해서만 접근 가능했던 실세계 데이터셋에 대해 정확한 해를 도출할 수 있도록 하는 것.
• 모든 영행렬/영열 제거 및 중복 행렬/열 처리를 포함한 사전처리 단계를 도입하면서 목적 함수의 등가성을 유지하는 것.
• 합성 및 실세계 데이터셋에서 정량적 오차와 실행 시간 평가를 통해 본 방법의 효과성을 입증하는 것.

제안 방법

• 이중 변수를 사용한 요인 행렬 $ C \in \{0,1\}^{n \times k} $ 와 $ R \in \{0,1\}^{k \times m} $ 을 활용해 불리안 행렬 근사 문제를 혼합정수계획법(MIP)으로 설정한다.
• 목적 함수를 근사 오차의 프로베니우스 노름 최소화로 정의한다: $ \|X - C \circ R\|_F^2 $, 여기서 $ \circ $ 는 불리안 행렬 곱셈을 의미한다.
• 지수적 증가를 피하는 다항식 크기의 MIP 설정을 사용하여 현실적인 문제 크기로의 확장 가능성을 확보한다.
• 사전처리 적용: 모든 영행렬/영열 제거 및 중복 처리를 위해 목적 함수를 $ \alpha_i \beta_j $ 로 스케일링한다. 여기서 $ \alpha_i $ 와 $ \beta_j $ 는 반복 횟수를 의미한다.
• CPLEX 를 통한 MIP 해법 과정에서 계산 효율성을 향상시키기 위해 대칭성 감소 및 변수 고정 전략을 활용한다.
• 표준 하드웨어에서 상용 최적화 소프트웨어(CPLEX)를 사용해 MIP 를 해결하며, 큰 인스턴스에 대해서는 2시간 제한 시간을 설정한다.

실험 결과

연구 질문

• RQ1 저랭크 불리안 행렬 근사 문제에 대해 다항식 크기의 변수와 제약 조건만을 사용하는 정확한 정수계획법 설정을 구성할 수 있는가?
• RQ2 실세계 데이터에서 기존의 휴리스틱 기법과 비교해 본 논문의 MIP 설정이 해의 품질과 계산 효율성 측면에서 어떻게 성능을 내는가?
• RQ3 영행렬/영열 제거 및 중복 처리와 같은 사전처리 단계가 MIP 접근법의 확장성과 성능 향상에 얼마나 기여하는가?
• RQ4 선형대수적 랭크가 불리안 랭크와 다를 경우, MIP 설정이 기존 휴리스틱 기법보다 더 나은 혹은 더 해석 가능한 요인 행렬을 도출할 수 있는가?
• RQ5 실세계 불리안 행렬 근사 문제에 대해 MIP 접근법이 실용적인 시간 제한 내에서 최적 또는 근사 최적 해를 도출할 수 있는가?

주요 결과

• 제안된 MIP 설정은 현실적인 문제 크기에서 저랭크 불리안 행렬 근사 문제를 정확하게 해결할 수 있도록 하는 최초의 다항식 크기의 변수와 제약 조건을 사용한다.
• 정확한 불리안 랭크 5와 20개의 특성으로 구성된 합성 데이터에서, 사전처리를 적용한 개선된 설정은 전체 모델 대비 평균 해 시간을 크게 감소시켰다.
• 노이즈가 포함된 합성 데이터에서는 노이즈 수준이 증가할수록 문제의 복잡도가 증가했지만, 차원 축소를 통해 사전처리가 이를 완화시키는 데 기여했다.
• SPECT(267×22), Primary Tumor(339×24), U.S. Congress(435×32) 를 포함한 실세계 데이터셋에서 랭크 5 근사값은 최적 해가 아니더라도 최소 80%의 데이터 재구성 정확도를 달성했다.
• 해가 최적일 수 없는 경우 오차 곡선은 비단조화적이었지만, 랭크 $ k $ 가 증가할수록 오차가 감소하는 경향을 보이며 최적 해에서는 감소 경향이 명확히 나타날 것으로 예상된다.
• 해의 품질 측면에서 이전의 휴리스틱 기법을 능가하며, 의회 투표 데이터셋에서 불리안 랭크가 명확한 투표 역할을 드러내어 해석 가능성을 입증하였다.