[논문 리뷰] Learning with the Weighted Trace-norm under Arbitrary Sampling Distributions

Rina Foygel, Ruslan Salakhutdinov외 2명|arXiv (Cornell University)|2011. 06. 21.

Machine Learning and Algorithms참고 문헌 20인용 수 38

한 줄 요약

이 논문은 표준 가중 추적 노름 정규화가 행과 열 샘플링 인덱스가 독립적으로 선택되지 않을 경우 실패하는 비제품 샘플링 분포 하에서 행렬 완성에 대해 보정된 가중 추적 노름 정규화를 제안한다. 실제 또는 경험적 샘플링 분포를 사용하여 엄밀한 일반화 보장을 확립하며, 특히 균일하거나 알려진 진짜 분포일 경우조차도 경험 빈도로 가중할 때 표준 방법보다 향상된 성능을 보인다.

ABSTRACT

We provide rigorous guarantees on learning with the weighted trace-norm under arbitrary sampling distributions. We show that the standard weighted trace-norm might fail when the sampling distribution is not a product distribution (i.e. when row and column indexes are not selected independently), present a corrected variant for which we establish strong learning guarantees, and demonstrate that it works better in practice. We provide guarantees when weighting by either the true or empirical sampling distribution, and suggest that even if the true distribution is known (or is uniform), weighting by the empirical distribution may be beneficial.

연구 동기 및 목표

• 비제품 샘플링 분포 하에서 행과 열 샘플링 인덱스가 독립적으로 선택되지 않을 경우 표준 가중 추적 노름 정규화가 실패하는 문제를 해결하기 위해.
• 임의의 샘플링 분포 하에서 보정된 가중 추적 노름을 사용한 행렬 완성에 대한 이론적 학습 보장을 제공하기 위해.
• 진짜 또는 균일한 분포를 사용하는 것과 비교해 경험적 샘플링 분포로 가중하는 것이 실용적·이론적으로 유리한지 조사하기 위해.
• i.i.d. 노이즈와 제품 분포를 초월한 이론적 분석을 확장하여 일반 손실 함수 하에서 일반적인 학습(아그노스틱 러닝)을 가능하게 하기 위해.

제안 방법

• 행과 열 색인의 마진 분포를 고려한 보정된 가중 추적 노름을 도입하며, 정의는 $\|X\|_{\mathrm{tr}(p^r,p^c)} = \|\mathrm{diag}(p^r)^{1/2} \cdot X \cdot \mathrm{diag}(p^c)^{1/2}\|_{\mathrm{tr}}$ 이다.
• 추정기의 손실을 최소화하는 정규화 프레임워크를 제안하며, 행렬 클래스 $\mathcal{W}_r[\overline{p}] = \{X : \|X\|_{\mathrm{tr}(p^r,p^c)} \leq \sqrt{r}\}$ 내에서 최적화를 수행한다.
• 라데마처 복잡도와 대칭화 기법을 사용하여 일반화 오차를 경계하며, 데이터를 학습 및 테스트 세트로 나누어 이행적 보장을 유도한다.
• 행과 열의 마진에 대해 임계값 전략을 적용하여 고확률 및 저확률 항목을 분리하고, 각 부분의 복잡도를 별도로 경계한다.
• 일반화 오차 경계를 유도하며, 이는 $\mathbf{O}\left((l+b)\sqrt[3]{\frac{rn\log n}{s}}\right)$ 로 표현되며, 여기서 $l$은 리프시츠 상수, $b$는 손실 경계, $r$은 랭크, $n$은 행렬 크기, $s$는 관측된 항목 수이다.
• 진짜 및 경험적 샘플링 분포를 모두 가중치로 사용하며, 진짜 분포가 알려져 있더라도 경험적 가중치가 유리할 수 있음을 보여준다.

실험 결과

연구 질문

• RQ1 표준 가중 추적 노름은 행과 열 색인의 샘플링이 독립적이지 않은 비제품 샘플링 분포 하에서 실패하는가?
• RQ2 보정된 가중 추적 노름의 변형은 임의의 샘플링 분포 하에서도 강력한 일반화 보장을 제공할 수 있는가?
• RQ3 실제 및 이론적으로 경험적 샘플링 분포로 가중하는 것이 진짜 또는 균일한 분포를 사용하는 것보다 유리한가?
• RQ4 비제품 또는 균일한 분포와 비교해 임의의 샘플링 하에서 행렬 완성의 샘플 복잡도는 어떻게 변화하는가?

주요 결과

• 행과 열 색인 간의 의존성이 있는 비제품 샘플링 분포 하에서 표준 가중 추적 노름은 잘못된 정규화로 인해 실패한다.
• 행과 열의 마진 분포를 적절히 반영하는 보정된 가중 추적 노름을 제안하여 이론적 일致성을 보장한다.
• 일반화 오차는 $\mathbf{O}\left((l+b)\sqrt[3]{\frac{rn\log n}{s}}\right)$ 로 경계되며, 이는 $n$에 대해 부분선형으로 스케일링되며, 공동 샘플링 분포에 독립적이다.
• 경험적 가중치는 진짜 분포가 알려져 있더라도 실무에서 진짜 분포 가중치보다 종종 더 뛰어난 성능을 보인다.
• 보정된 방법은 넷플릭스 및 무비렌즈와 같은 실제 데이터셋에서 더 뛰어난 성능을 달성하여 실용적 이점을 입증한다.
• 이론적 보장은 인도적 및 이행적 설정 모두에서 유효하며, 일반적인 손실 함수 하에서 i.i.d. 노이즈가 필요 없이도 유효하다.