[논문 리뷰] Transfer Learning for Nonparametric Classification: Minimax Rate and Adaptive Classifier

Tommaso Cai, Hongji Wei|arXiv (Cornell University)|2019. 06. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 33인용 수 15

한 줄 요약

이 논문은 공변수 분포는 동일하지만 클래스 조건부 확률에서 다름이 있는 후행확률 이동 모델 하에서 비모수적 분류에서 전이학습의 최소최대 수렴 속도를 확립한다. 이는 소스 및 타겟 분포의 공변수 분포가 동일하지만 클래스 조건부 확률가 다름을 전제로 한다. 제안된 이중표본 가중치 K-NN 분류기는 최적의 수렴 속도를 달성하며, 넓은 부드러움 및 마진 매개변수의 클래스에 걸쳐 최적 속도에 로그 인자 내에서 도달하는 적응형 버전을 제공한다.

ABSTRACT

Human learners have the natural ability to use knowledge gained in one setting for learning in a different but related setting. This ability to transfer knowledge from one task to another is essential for effective learning. In this paper, we study transfer learning in the context of nonparametric classification based on observations from different distributions under the posterior drift model, which is a general framework and arises in many practical problems. We first establish the minimax rate of convergence and construct a rate-optimal two-sample weighted $K$-NN classifier. The results characterize precisely the contribution of the observations from the source distribution to the classification task under the target distribution. A data-driven adaptive classifier is then proposed and is shown to simultaneously attain within a logarithmic factor of the optimal rate over a large collection of parameter spaces. Simulation studies and real data applications are carried out where the numerical results further illustrate the theoretical analysis. Extensions to the case of multiple source distributions are also considered.

연구 동기 및 목표

• 후행확률 이동 모델 하에서 비모수적 이元 분류에서 전이학습의 최소최대 수렴 속도를 확립하기 위해.
• 소스 분포의 레이블이 부여된 데이터를 활용하여 관련되지만 다른 타겟 분포에서 분류 성능을 향상시키는 수률 최적의 이중표본 가중치 K-NN 분류기를 개발하기 위해.
• 넓은 범위의 부드러움 및 마진 매개변수에 걸쳐 최적 속도에 로그 인자 내에서 도달하는 적응형 분류기를 제안하기 위해.
• 분포 이동이 수반되는 비모수적 설정에서 전이학습의 이점에 대한 이론적 근거를 제공하기 위해.
• 다중 소스 분포로의 프레임워크 확장을 시도하고 시뮬레이션 및 실데이터를 통해 검증하기 위해.

제안 방법

• 공변수의 주변분포는 동일하지만 소스 및 타겟 간 클래스 조건부 분포가 다름을 전제로 하는 후행확률 이동 모델을 사용한다.
• 지역 밀도 및 부드러움 매개변수에 기반하여 소스 및 타겟 샘플에 데이터 의존적 가중치를 할당함으로써 이중표본 가중치 K-NN 분류기를 구성한다.
• 마진 가정과 결정 경계 근처 조건부 확률의 감쇠 속도에 기반하여 국소 오분류 경계를 적용한다.
• 입력 공간을 마진 함수 ζ_Q(x)에 따라 분할하여 다양한 영역에서 기대 초과 위험을 통제한다.
• 마진 수준에 의해 정의된 이중 영역에 대한 합산과 함께 지수 尾 꼬리 부등식을 사용하여 초과 위험에 대한 고확률 경계를 유도한다.
• 데이터 기반 절차를 통해 조정 매개변수를 선택하는 적응형 분류기를 제안하여 넓은 매개변수 공간에서 거의 최적의 성능을 달성한다.

실험 결과

연구 질문

• RQ1 후행확률 이동 모델 하에서 소스 분포에서 타겟 분포로 지식을 전이할 경우 비모수적 분류에서 수렴 속도의 최소최대 값은 무엇인가?
• RQ2 이 모델 하에서 소스 및 타겟 데이터를 최적으로 활용할 수 있는 가중치 K-NN 분류기는 어떻게 설계할 수 있는가?
• RQ3 넓은 범위의 부드러움 및 마진 매개변수에 걸쳐 최적 속도에 로그 인자 내에서 도달하는 적응형 분류기를 구성할 수 있는가?
• RQ4 소스 데이터의 기여는 기저 회귀 함수의 표본 크기 및 부드러움에 비해 어떻게 스케일링되는가?
• RQ5 여러 소스 분포가 존재할 경우 전이학습에 대한 이론적 보장은 무엇인가?

주요 결과

• 부드러움 β, 마진 α, 차원 d에 대해 후행확률 이동 모델 하에서 전이학습의 최소최대 수렴 속도는 (n_P^{(2β+d)/(2γβ+d)} + n_Q)^{-β(1+α)/(2β+d)} 로 확립된다.
• 이 최소최대 속도를 달성하는 이중표본 가중치 K-NN 분류기가 구성되었으며, 이는 소스 및 타겟 분포가 유사할 경우 소스 데이터가 타겟 분류 성능 향상에 크게 기여할 수 있음을 시사한다.
• 넓은 매개변수 공간에서 최적 속도에 로그 인자 내에서 도달하는 적응형 분류기가 존재하며, 이는 부드러움 또는 마진 매개변수의 사전 지식 없이도 적응 가능성을 달성한다.
• 이론적 분석은 전이학습의 이점이 소스 표본 크기가 크고 소스 및 타겟 분포가 부드러움 및 마진 행동 측면에서 유사할 경우에 가장 뚜렷하게 나타남을 보여준다.
• 시뮬레이션 연구 및 실데이터 응용을 통해 제안된 분류기가 표준 K-NN 및 기타 전이학습 기반 기준보다 뛰어난 성능을 보이며, 특히 소스 및 타겟이 유사하지만 동일하지 않은 경우에 유의미하게 슈퍼리어하다.
• 다중 소스 분포로의 확장 가능성이 입증되었으며, 소스 및 타겟 분포 간 유사성에 대한 약한 조건 하에서도 이론적 최적성은 유지된다.