[논문 리뷰] Blind Regression via Nearest Neighbors under Latent Variable Models

Christina Lee, Yihua Li외 2명|arXiv (Cornell University)|2017. 05. 13.

Sparse and Compressive Sensing Techniques참고 문헌 20인용 수 4

한 줄 요약

이 논문은 잠재 변수 모델 하에서 이웃 기반 블라인드 회귀 알고리즘을 제안하며, 국소적 스무쓰니스를 이용해 관측되지 않은 항목을 추정하기 위해 최근접 이웃을 활용한다. 최소 $\max(m^{-1+\delta}, n^{-1/2+\delta})$ 개의 항목이 관측될 경우 일致성을 확립하며, 협업 필터링보다 이론적으로 우월하고 실세계 데이터셋에서 경쟁적인 성능을 보인다.

ABSTRACT

We consider the setup of nonparametric 'blind regression' for estimating the entries of a large $m imes n$ matrix, when provided with a small, random fraction of noisy measurements. We assume that all rows $u \in [m]$ and columns $i \in [n]$ of the matrix are associated to latent features $x_1(u)$ and $x_2(i)$ respectively, and the $(u,i)$-th entry of the matrix, $A(u, i)$ is equal to $f(x_1(u), x_2(i))$ for a latent function $f$. Given noisy observations of a small, random subset of the matrix entries, our goal is to estimate the unobserved entries of the matrix as well as to de-noise the observed entries. As the main result of this work, we introduce a neighbor-based estimation algorithm inspired by the classical Taylor's series expansion. We establish its consistency when the underlying latent function $f$ is Lipschitz, the latent features belong to a compact domain, and the fraction of observed entries in the matrix is at least $\max \left(m^{-1 + \delta}, n^{-1/2 + \delta} ight)$, for any $\delta > 0$. As an important byproduct, our analysis sheds light into the performance of the classical collaborative filtering (CF) algorithm for matrix completion, which has been widely utilized in practice. Experiments with the MovieLens and Netflix datasets suggest that our algorithm provides a principled improvement over basic CF and is competitive with matrix factorization methods. Our algorithm has a natural extension to tensor completion. For a $t$-order balanced tensor with total of $N$ entries, we prove that our approach provides a consistent estimator when at least $N^{-\frac{\lfloor 2t/3 floor}{2t}+ \delta}$ fraction of entries are observed, for any $\delta > 0$. When applied to the setting of image in-painting (a tensor of order 3), we find that our approach is competitive with respect to state-of-art tensor completion algorithms across benchmark images.

연구 동기 및 목표

• 관측된 항목이 소수의 무작위로 선택된 노이즈가 섞인 항목 뿐인 큰 행렬에서 누락된 항목을 추정하기 위한 일관적이고 비모수적 방법을 개발하는 것.
• 행렬 항목을 잠재적 행 및 열 특징의 함수로 모델링하며, 스무쓰한 잠재 함수 $f(x_1(u), x_2(i))$ 를 가정하는 것.
• 최근접 이웃을 통한 국소 기하 구조를 통합함으로써 고전적 협업 필터링을 향상시키는 것.
• 이 프레임워크를 텐서 복원으로 확장하고 고차원 텐서에 대한 이론적 일관성을 확립하는 것.

제안 방법

• 메서드는 테일러 급수 전개를 영감으로 삼은 이웃 기반 추정기로, 잠재 특징 공간 내 국소적 스무쓰니스를 활용한다.
• 관측된 값에 기반해 행과 열의 잠재 공간에서 최근접 이웃을 식별하여 관측되지 않은 행렬 항목을 추정한다.
• 잠재 함수 $f$ 가 리프시츠 연속성임을 가정하고, 행 및 열 특징에 대해 모두 컴act 도메인에서 정의된다고 가정한다.
• 최소한의 표본 조건 하에서 일관성을 확립한다: 행렬의 경우 임의의 $\delta > 0$ 에 대해 $\max(m^{-1+\delta}, n^{-1/2+\delta})$ 개의 관측 항목이 필요하다.
• 순서가 $t$ 인 균형 잡힌 텐서의 경우, 임의의 $\delta > 0$ 에 대해 최소 $N^{-\lfloor 2t/3 \rfloor / (2t) + \delta}$ 개의 항목이 관측될 경우 일관성을 달성한다.
• 이웃 기반 추정을 고차원 구조로 일반화함으로써 텐서 복원으로 자연스럽게 확장할 수 있다.

실험 결과

연구 질문

• RQ1 최소한의 표본 조건 하에서 블라인드 회귀 설정에서 비모수적이고 이웃 기반 방법이 일관된 행렬 복원을 달성할 수 있는가?
• RQ2 실제로 제안된 이웃 기반 추정기의 성능은 고전적 협업 필터링보다 어떻게 비교되는가?
• RQ3 행렬 항목이 행 및 열 특징의 잠재 함수에 의해 결정될 경우, 일관된 추정을 위해 필요한 이론적 표본 임계값은 무엇인가?
• RQ4 이웃 기반 프레임워크는 이론적 일관성 보장 하에 텐서 복원으로 확장될 수 있는가?
• RQ5 이 방법은 MovieLens 및 Netflix와 같은 실세계 데이터셋과 이미지 복원 작업에서 어떻게 성능을 발휘하는가?

주요 결과

• 잠재 함수의 리프시츠 연속성과 특징 도메인의 컴팩트성 조건 하에서, 관측 항목 비율이 임의의 $\delta > 0$ 에 대해 $\max(m^{-1+\delta}, n^{-1/2+\delta})$ 이상일 경우 제안된 이웃 기반 추정기는 일관성을 확보한다.
• 메서드는 고전적 협업 필터링보다 원리적인 이론적 개선을 제공하며, MovieLens 및 Netflix 데이터셋에서 행렬 분해 방법과 비교해도 유사한 경험적 성능을 보인다.
• 순서가 $t$ 인 균형 잡힌 텐서의 경우, 임의의 $\delta > 0$ 에 대해 $N^{-\lfloor 2t/3 \rfloor / (2t) + \delta}$ 의 표본 임계값을 확보함으로써 일관성을 달성하며, 고차원 데이터로의 확장성도 입증한다.
• 이미지 복원에 대한 실험 결과, 이 알고리즘이 벤치마크 이미지에서 최신 기술의 텐서 복원 방법들과 경쟁적인 성능을 발휘함을 보였다.
• 분석 결과 고전적 협업 필터링의 성능은 잠재 공간 내 국소 기하 구조와 본질적으로 연결되어 있으며, 제안된 방법은 이 구조를 명시적으로 모델링한다.