[논문 리뷰] Minimax-optimal semi-supervised regression on unknown manifolds

Amit Moscovich, Ariel Jaffe외 1명|arXiv (Cornell University)|2016. 11. 07.

Face and Expression Recognition참고 문헌 8인용 수 14

한 줄 요약

이 논문은 지오데식 kNN 회귀를 제안하며, 이는 레이블이 지정된 데이터와 레이블이 지정되지 않은 데이터를 모두 사용하여 다양체의 지오데식 거리를 추정한 후, 이러한 거리에 기반해 kNN 회귀를 적용하는 반감독 학습 방법이다. 충분한 수의 레이블이 지정되지 않은 데이터가 존재할 경우, 이 방법은 알려지지 않은 다양체 위에서 리프시츠 회귀에 대해 최소최대 최적의 유한 표본 오차율을 달성하며, 전통적인 kNN 및 라플라시안 고유벡터 방법보다 정확도와 속도 면에서 뛰어나다.

ABSTRACT

We consider semi-supervised regression when the predictor variables are drawn from an unknown manifold. A simple two step approach to this problem is to: (i) estimate the manifold geodesic distance between any pair of points using both the labeled and unlabeled instances; and (ii) apply a k nearest neighbor regressor based on these distance estimates. We prove that given sufficiently many unlabeled points, this simple method of geodesic kNN regression achieves the optimal finite-sample minimax bound on the mean squared error, as if the manifold were known. Furthermore, we show how this approach can be efficiently implemented, requiring only O(k N log N) operations to estimate the regression function at all N labeled and unlabeled points. We illustrate this approach on two datasets with a manifold structure: indoor localization using WiFi fingerprints and facial pose estimation. In both cases, geodesic kNN is more accurate and much faster than the popular Laplacian eigenvector regressor.

연구 동기 및 목표

• 모르게 된 저차원 다양체 위에 존재하는 데이터에서 반감독 학습 회귀에서 레이블이 지정되지 않은 데이터의 유한 표본 이점이 무엇인지 명확히 하기 위해.
• 알려지지 않은 다양체 위에서 단순한 두 단계 방법—지오데식 거리 추정 후 kNN 회귀—의 이론적 최적성을 확립하기 위해.
• 골드버그 등(2009)이 제기한 추측을 해결하기 위해—즉, 알려지지 않은 다양체에서 반감독 학습이 허더링 함수에 대해 최소최대 속도를 달성할 수 있으며, 이를 리프시츠 경우에 대해 증명하기 위해.
• 지오데식 kNN이 스펙트럼 기반 방법(예: 라플라시안 고유벡터 회귀)보다 계산 효율성과 경험적 성능 면에서 뛰어나다는 것을 보여주기 위해.

제안 방법

• 모든 레이블이 지정된 점들과 레이블이 지정되지 않은 점들 사이에 주변 거리 척도를 사용해 희소하고 대칭적인 k-근접 이웃 그래프를 구성한다.
• 그래프 상에서 최단 경로를 계산하여 모든 점 쌍 간의 지오데식 거리를 추정한다.
• 추정된 지오데식 거리를 사용해 kNN 회귀를 적용하며, 한 점에서의 예측은 그 점의 k개 지오데식 근접 이웃의 레이블 평균이 된다.
• 작은 편향(ε)을 가진 대칭적인 kNN 규칙을 사용해 더 짧은 경로를 선호함으로써, 거리 추정의 안정성과 강건성을 확보한다.
• 그래프 구조를 활용해 모든 예측을 O(kN log N)의 복잡도로 계산함으로써 확장 가능성을 확보한다.
• 비교를 위해 그래프 라플라시안을 사용하지만, 실제 적용에서는 지오데식 kNN이 훨씬 빠르다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 데이터가 알려지지 않은 저차원 다양체 위에 존재할 때, 반감독 학습 회귀에서 레이블이 지정되지 않은 데이터가 유한 표본 이점을 제공할 수 있는가?
• RQ2 지오데식 거리 추정 후 kNN 회귀를 수행하는 단순한 두 단계 방법이 알려지지 않은 다양체 위에서 리프시츠 함수에 대해 최소최대 최적 오차율을 달성할 수 있는가?
• RQ3 지오데식 kNN의 성능은 정확도와 계산 비용 측면에서 스펙트럼 기반 방법(예: 라플라시안 고유벡터 회귀)과 비교해 어떻게 되는가?
• RQ4 지오데식 kNN 방법이 높은 확률로 최소최대 최적성을 확보하기 위해 필요한 레이블이 지정되지 않은 점의 수는 얼마인가?

주요 결과

• 레이블이 지정되지 않은 점의 수가 충분히 많을 경우, 지오데식 kNN 회귀는 알려지지 않은 다양체 위에서 리프시츠 회귀에 대해 최소최대 최적의 유한 표본 평균 제곱오차 경계를 달성한다.
• 실내 위치 추정 및 얼굴 자세 추정 과제에서 표준 kNN 및 라플라시안 고유벡터 회귀보다 정확도와 속도 면에서 뛰어나다.
• 나이브한 파이썬 구현조차도 라플라시안 고유벡터를 계산하는 것보다 지오데식 근접 이웃을 그래프 최단 경로를 통해 계산하는 것이 수 개의 주기수 배 빠르다.
• 지오데식 kNN 방법은 계산적으로 효율적이며, 모든 N개 점에서의 회귀 추정을 위해 오직 O(kN log N)의 연산만을 필요로 한다.
• 다양체의 구조에 강건하며, 내재 차원이 낮다면 주변 차원이 높더라도 잘 작동한다.
• 모의 및 실제 와이파이 지문 데이터에 대한 경험적 결과는 지오데식 kNN이 기준 방법보다 뛰어난 위치 추정 정확도를 달성함을 확인한다.