[논문 리뷰] Unlabeled Data Help in Graph-Based Semi-Supervised Learning: A Bayesian Nonparametrics Perspective

Daniel Sanz-Alonso, Ruiyi Yang|arXiv (Cornell University)|2020. 08. 26.

Machine Learning and Data Classification참고 문헌 49인용 수 5

한 줄 요약

이 논문은 다양체 가정 하에서, 충분히 많은 수의 비라벨 데이터를 활용해 베이지안 비모수적 사전분포를 구성할 경우, 그래프 기반 준지도 학습이 최소최대 최적의 사후 수축 속도를 달성함을 입증한다 (로그형 요소를 제외하고). 이 방법은 그래프 라플라시안을 통해 기하학적 구조를 표현하며, 이론적으로는 비라벨 데이터가 기저 다样的체의 매끄러움에 최적으로 적응할 수 있도록 학습 성능을 향상시킴을 보여준다.

ABSTRACT

In this paper we analyze the graph-based approach to semi-supervised learning under a manifold assumption. We adopt a Bayesian perspective and demonstrate that, for a suitable choice of prior constructed with sufficiently many unlabeled data, the posterior contracts around the truth at a rate that is minimax optimal up to a logarithmic factor. Our theory covers both regression and classification.

연구 동기 및 목표

• 다양체 가정 하에서 그래프 기반 준지도 학습에서 비라벨 데이터가 학습 성능을 향상시키는지 조사하기.
• 회귀 및 분류 설정에서 사후 수축 속도에 대한 이론적 보장을 수립하기.
• 그래프로 구성된 사전분포를 사용하는 베이지안 비모수적 접근이 진정한 함수의 매끄러움에 최적으로 적응할 수 있음을 보여주기.
• 라벨된 데이터 수 $ n $ 과 함께 비라벨 데이터 수 $ N_n $ 이 충분히 빠르게 증가할 경우, 사후 수축 속도가 최소최대 최적임을 보여주기 (로그형 요소를 제외하고).

제안 방법

• 기저 다样的체의 기하학적 구조를 표현하기 위해 비라벨 데이터의 그래프 라플라시안을 사용해 사전분포를 구성하는 베이지안 비모수적 프레임워크를 채택함.
• 라벨된 데이터를 포함하는 가능도를 통해 사후분포를 정의하며, 회귀(정규 가능도)와 분류(베르누이 가능도)에 대해 별도의 수식을 제시함.
• 사후 농도를 진짜 함수 $ f_0 $ 근처에서 측정하기 위해 반경미터(semi-metric) $ d_n $ 를 사용하며, 수축 속도는 $ \varepsilon_n $ 이라는 수열로 정의되며, $ n \to \infty $ 일 때 $ \|f - f_0\|_n \geq M_n \varepsilon_n $ 인 사건의 사후 확률이 0으로 수렴하는 조건을 만족함.
• 그래프 라플라시안의 스펙트럼 수렴 결과를 활용해 사전분포의 행동을 제어함으로써, $ N_n $ (비라벨 점의 수) 가 $ n $ 에 대해 다항률로 증가할 경우 다样的체 기하학을 정확히 포착할 수 있음을 보장함.
• 베이지안 비모수 통계에서의 이론적 도구들 — 예를 들어 엔트로피 조건 및 사전 농도 조건 — 을 적용해 사후 수축 속도를 유도함.
• 분석은 다样的체 상의 균일 샘플링을 가정하며, 가중치가 부여된 라플라시안-벨트라미 연산자를 통해 비균일 밀도로의 일반화 가능성을 논의함.

실험 결과

연구 질문

• RQ1 다样的체 가정 하에서 그래프 기반 준지도 학습에서 비라벨 데이터의 포함 여부가 사후 수축 속도를 향상시키는가?
• RQ2 그래프로 구성된 사전분포를 사용하는 베이지안 비모수적 접근이 회귀 및 분류 모두에서 최소최대 최적 속도를 달성할 수 있는가?
• RQ3 라벨된 샘플 수 $ n $ 이 주어졌을 때, 비라벨 데이터 수 $ N_n $ 의 어떤 증가율이 최적의 사후 수축을 보장하는가?
• RQ4 사전의 매끄러움 매개수의 선택이 사후 농도에 미치는 영향은 무엇이며, 진짜 함수의 매끄러움에 대한 사전 지식 없이도 적응성이 달성될 수 있는가?
• RQ5 그래프 라플라시안으로 포착된 데이터 다样的체의 기하학적 구조는 베이지안 준지도 학습의 학습 속도에 얼마나 영향을 미치는가?

주요 결과

• 비라벨 데이터 수 $ N_n $ 이 $ n $ 과 함께 적절한 다항률로 증가할 경우, 진짜 함수 $ f_0 $ 근처에서 사후가 최소최대 최적의 속도로 수축함 (로그형 요소를 제외하고).
• 회귀의 경우, 비라벨 데이터의 그래프 라플라시안을 통해 구성된 사전분포를 사용할 때, $ L^\infty $-노름 하에서 사후 수축 속도가 최소최대 속도와 일치함.
• 분류의 경우, 사후 수축 속도 역시 최소최대 최적임 (로그형 요소를 제외하고), 이는 헬링거 및 킬비어-라이블러 발산이 경험 노름과 등가임을 이용해 도출됨.
• 사후 수축을 위해 요구되는 사전 농도 및 엔트로피 조건은 그래프 라플라시안이 다样的체 상의 진짜 라플라시안-벨트라미 연산자로 스펙트럼 수렴할 경우 충족됨.
• 이론은 다样的체 상의 균일 샘플링을 가정하며, 가중치가 부여된 라플라시안-벨트라미 연산자를 통해 비균일 밀도로의 일반화가 가능함.
• 결과는 충분한 비라벨 데이터가 그래프 기반 방법이 기하학적 구조를 효과적으로 추출하고 최적의 학습 성능를 달성하는 데 필수적임을 시사한다.