[논문 리뷰] Non-Convex Matrix Completion Against a Semi-Random Adversary

Yu Cheng, Rong Ge|arXiv (Cornell University)|2018. 03. 28.

Computability, Logic, AI Algorithms참고 문헌 37인용 수 6

한 줄 요약

이 논문은 관측 확률이 최소 $ p $인 반-랜덤 관측 모델 하에서 비볼록 행렬 완성의 강건성을 다루며, 이는 기존의 비볼록 알고리즘을 무너뜨리는 설정이다. 입력을 균일한 랜덤 샘플링과 유사한 형태로 변환하기 위해 거의 선형 시간의 사전 처리 재가중 단계를 제안하여, 비볼록 목적 함수의 모든 국소 최소값이 높은 확률로 정확한 저질수 행렬 복원을 이끌어내도록 보장한다.

ABSTRACT

Matrix completion is a well-studied problem with many machine learning applications. In practice, the problem is often solved by non-convex optimization algorithms. However, the current theoretical analysis for non-convex algorithms relies heavily on the assumption that every entry is observed with exactly the same probability $p$, which is not realistic in practice. In this paper, we investigate a more realistic semi-random model, where the probability of observing each entry is at least $p$. Even with this mild semi-random perturbation, we can construct counter-examples where existing non-convex algorithms get stuck in bad local optima. In light of the negative results, we propose a pre-processing step that tries to re-weight the semi-random input, so that it becomes "similar" to a random input. We give a nearly-linear time algorithm for this problem, and show that after our pre-processing, all the local minima of the non-convex objective can be used to approximately recover the underlying ground-truth matrix.

연구 동기 및 목표

• 관측 확률이 최소 $ p $이지만 균일하지 않은 반-랜덤 관측 모델 하에서 비볼록 행렬 완성 알고리즘이 여전히 효과를 가지는지 조사하는 것.
• 표준 비볼록 알고리즘이 이러한 반-랜덤 교란 상황에서 실패하는 이유를 설명하는 것 — 즉, 나쁜 국소 최적해에 갇힐 수 있음을 보여주는 것.
• 최적화 지형 측면에서 균일한 랜덤 샘플링과 동일한 형태로 변환하기 위해 관측된 항목들을 재가중하는 사전 처리 알고리즘을 설계하는 것.
• 재가중 후, 비볼록 목적 함수의 모든 국소 최소값이 기저 진짜 저질수 행렬 $ M^\star $의 근사 복원을 이끌어내는 것을 증명하는 것.

제안 방법

• 각 항목이 먼저 확률 $ p $로 균일하게 샘플링된 후, $ M^\star $와 현재 관측된 항목 집합을 바탕으로 적대자가 추가 관측을 추가할 수 있는 반-랜덤 모델을 도입한다.
• 반-랜덤 입력을 균일한 랜덤 샘플링과 유사하게 행동하는 형태로 변환하기 위해, 항목 별 가중치를 계산하는 사전 처리 단계를 제안한다.
• 재가중 행렬 $ W $ 를 계산하기 위해 거의 선형 시간 알고리즘을 사용하여 계산 효율성을 확보한다.
• 재가중된 비볼록 목적 함수 $ \sum_{(i,j)\in\Omega} w_{ij} ( (UV^\top)_{ij} - M^\star_{ij} )^2 $ 를 정의하며, 여기서 $ w_{ij} $ 는 계산된 가중치이다.
• 재가중된 목적 함수의 헤시안과 기울기의 구조를 분석하여, 온건한 가정 하에 모든 국소 최소값이 진짜 행렬에 가까워짐을 증명한다.
• 행렬 농도 및 변동 경계를 활용하여, 재가중된 문제가 균일한 경우와 유사한 유리한 기하적 성질(예: 나쁜 국소 최소값이 없음)을 상속함을 보여준다.

실험 결과

연구 질문

• RQ1 관측 확률이 최소 $ p $이지만 균일하지 않은 상황에서 표준 비볼록 행렬 완성 알고리즘이 여전히 진짜 저질수 행렬을 복원할 수 있는가?
• RQ2 균일한 샘플링 하에서는 강력한 이론적 보장을 가진 기존 비볼록 알고리즘이 반-랜덤 관측 모델에서는 왜 실패하는가?
• RQ3 반-랜덤 모델이 최적화 지형 측면에서 균일한 모델과 동일하게 행동하도록 만들 수 있는 사전 처리 변환은 존재하는가?
• RQ4 재가중된 문제는 비볼록 최적화의 수렴 보장을 유지하면서도 효율적으로 해결될 수 있는가?

주요 결과

• 대조 예제를 통해 표준 비볼록 알고리즘이 관측 확률이 반-랜덤(즉, $ p_{ij} \geq p $)일 경우, 조차도 나쁜 국소 최적해에 갇힐 수 있음을 보여준다. 이는 적대자가 추가로 항목을 추가하더라도 마찬가지다.
• 제안된 사전 처리 재가중 단계는 반-랜덤 입력을 비볼록 목적 함수에 나쁜 국소 최소값이 존재하지 않는 형태로 변환하여 좋은 해로 수렴함을 보장한다.
• 재가중 알고리즘은 거의 선형 시간에 실행되어 대규모 행렬 완성에 실용적이다.
• 재가중 후, 비볼록 목적 함수의 임의의 국소 최소값 $ (U,V) $ 는 $ \|UV^\top - M^\star\|_F^2 \leq \epsilon \|M^\star\|_F^2 $ 를 만족함을 보장하여 고정밀 복원을 보장한다.
• 이론적 분석은 재가중 노름 하에서 헤시안과 기울기 항목의 경계를 활용하여, 목적 함수의 기하학적 구조가 유지됨을 보여준다.
• 최소 관측 확률가 $ p $ 라면, 적대자의 관측 추가에 대해 강건하며, 재가중이 비균일성을 보상함으로써 이에 대응한다.