[논문 리뷰] PU Learning for Matrix Completion

Cho‐Jui Hsieh, Nagarajan Natarajan외 1명|arXiv (Cornell University)|2014. 11. 22.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 112

한 줄 요약

이 논문은 핵심 노름이 유계인 조건 하에 행렬 완성에 대한 PU 학습을 소개하며, 확률적 행렬 복원을 위한 '이동 행렬 완성'과 이진 행렬의 임계값 설정에 기반한 '편향 행렬 완성'이라는 두 가지 방법을 제안한다. Frobenius 오차에 대해 강력한 경계 $ O(1/((1-\rho)n)) $ 를 확립하여 밀도 있는 행렬의 경우 $ O(n\log n) $ 의 샘플 복잡도를 유도하며, 기능 기반 모델링을 통한 유도적 행렬 완성으로 이 프레임워크를 확장한다.

ABSTRACT

In this paper, we consider the matrix completion problem when the observations are one-bit measurements of some underlying matrix M, and in particular the observed samples consist only of ones and no zeros. This problem is motivated by modern applications such as recommender systems and social networks where only "likes" or "friendships" are observed. The problem of learning from only positive and unlabeled examples, called PU (positive-unlabeled) learning, has been studied in the context of binary classification. We consider the PU matrix completion problem, where an underlying real-valued matrix M is first quantized to generate one-bit observations and then a subset of positive entries is revealed. Under the assumption that M has bounded nuclear norm, we provide recovery guarantees for two different observation models: 1) M parameterizes a distribution that generates a binary matrix, 2) M is thresholded to obtain a binary matrix. For the first case, we propose a "shifted matrix completion" method that recovers M using only a subset of indices corresponding to ones, while for the second case, we propose a "biased matrix completion" method that recovers the (thresholded) binary matrix. Both methods yield strong error bounds --- if M is n by n, the Frobenius error is bounded as O(1/((1-rho)n), where 1-rho denotes the fraction of ones observed. This implies a sample complexity of O(n\log n) ones to achieve a small error, when M is dense and n is large. We extend our methods and guarantees to the inductive matrix completion problem, where rows and columns of M have associated features. We provide efficient and scalable optimization procedures for both the methods and demonstrate the effectiveness of the proposed methods for link prediction (on real-world networks consisting of over 2 million nodes and 90 million links) and semi-supervised clustering tasks.

연구 동기 및 목표

• 사회 네트워크나 추천 시스템과 같이 실세계 응용에서 오직 양성(1비트) 관측치만 이용 가능한 상황에서, 행렬 완성 이론과 실세계 응용 사이의 격차를 메우기 위해.
• 이진 관측치의 확률적 생성과 실수값 행렬의 결정적 임계값 설정이라는 두 가지 다른 설정 하에서 PU 행렬 완성 문제를 수립하고 분석하기 위해.
• 오직 양성 항목만 관측됨에도 불구하고 낮은 재구성 오차를 보장하는 두 설정에 대한 이론적 복원 보장을 제공하기 위해.
• 행렬의 행과 열에 대한 특징 정보가 존재하는 경우에 적용 가능한 유도적 행렬 완성으로 제안된 방법을 확장하여, 대규모 네트워크에서의 확장 가능하고 정확한 예측을 가능하게 하기 위해.
• 200만 개 이상의 노드와 9000만 개 이상의 링크를 포함하는 실세계 데이터셋에서 제안된 방법의 효과성을 입증하여 링크 예측 및 준지도 기반 클러스터링에서 뛰어난 성능을 보여주기 위해.

제안 방법

• 관측된 양성 항목에 대한 제곱 손실의 비편향 추정량을 최소화하는 '이동 행렬 완성' 방법을 제안하여, 퇴화된 해를 피하기 위해 문제를 재구성하기 위해.
• 관측된 양성 항목과 미관측 항목에 대해 다른 페널티를 적용하는 '편향 행렬 완성' 방법을 도입하여, 결정적 임계값 설정 하에서 이진 행렬을 복원할 수 있도록 하기 위해.
• 핵심 노름 정규화를 사용하여 낮은 질서의 구조와 행렬 복원의 안정성을 확보하며, $ \|M\|_* \leq \text{const} $ 라는 가정을 사용한다.
• 좌표 강하와 낮은 질서 근사 기법을 활용한 확장 가능한 최적화 절차를 설계하여 대규모 데이터셋에 적용 가능하게 하기 위해.
• 행과 열의 특징을 기반으로 행렬 항목을 이차형 함수로 모델링하여 두 방법 모두를 유도적 행렬 완성으로 확장하며, 이론적 보장을 유지하기 위해.
• 효율적인 SVD 기반 근사와 풀이 기법(예: ShiftMC-relax)을 활용하여 대규모 데이터를 처리하면서도 성능을 유지하기 위해.

실험 결과

연구 질문

• RQ1 기저 행렬이 양자화되거나 임계값이 설정된 경우, 오직 양성 1비트 관측치만으로 낮은 질서의 행렬을 복원할 수 있는가?
• RQ2 1비트 행렬 완성의 맥락에서 PU 학습 하에서 행렬 복원에 대해 확립할 수 있는 이론적 오차 경계는 무엇인가?
• RQ3 오직 양성 항목만 관측될 경우, 매트릭스 크기와 함께 샘플 복잡도는 어떻게 변화하는가?
• RQ4 제안된 방법은 복원 보장을 유지하면서도 특징 정보를 활용하는 유도적 행렬 완성으로 확장될 수 있는가?
• RQ5 기존 히우리스틱(예: 누락된 항목을 0으로 간주하는 방식)과 비교해 실세계 링크 예측 및 클러스터링 작업에서 제안된 방법은 어떻게 성능을 냈는가?

주요 결과

• 크기가 $ n \times n $ 인 행렬을 복원할 때 Frobenius 오차는 $ O\left(\frac{1}{(1-\rho)n}\right) $ 으로 경계된다. 여기서 $ 1-\rho $ 는 관측된 양성 항목의 비율이다.
• 작은 오차를 달성하기 위한 샘플 복잡도는 $ O(n\log n) $ 이며, $ n $ 이 크다면 밀도 있는 행렬에 대해 효율적이다.
• BiasMC는 실세계 네트워크에서 링크 예측에서 다른 방법보다 뛰어나며, 최대 9000만 개의 링크가 있는 데이터셋에서 낮은 양성 오류율(FPR)과 음성 오류율(FNR)을 달성한다.
• BiasMC는 매우 효율적이다. MySpace 데이터셋(200만 노드, 9000만 링크)을 516초 만에 처리하며 10회의 좌표 강하 스윕을 수행했고, 표준 SVD 계산(2408초)보다 뛰어난 성능을 보였다.
• BiasMC-inductive 는 Mushroom 및 Segment 데이터셋에서 라벨이 지정된 양성 관계 100개만으로도 10% 이내의 클러스터링 오차를 기록했으며, MC-inductive 와 스펙트럴 클러스터링보다 뚜렷이 뛰어난 성능을 보였다.
• 이론적 보장이 유도적 행렬 완성으로 확장되었으며, 편향 행렬 완성 방법이 오직 양성 관계만 관측되더라도 기저 행렬의 구조를 복원할 수 있음을 보여주었다.