[논문 리뷰] Learning curves for multi-task Gaussian process regression

Simon R. F. Ashton, Peter Sollich|arXiv (Cornell University)|2012. 11. 02.

Gaussian Processes and Bayesian Inference참고 문헌 20인용 수 4

한 줄 요약

이 논문은 다중 작업 가우시안 프로세스 회귀에서 학습 곡선에 대한 분석적 근사치를 개발하며, 텐서 구조를 가진 특징 공간과 편미분 방정식을 활용하여 작업 간 오차 감쇠를 모델링한다. 다중 작업 학습은 매끄러운 함수에 대해선 조건이 충족되지 않으면 점점 효과가 없어지며, 특히 모든 작업이 완전히 상관되어 있을 때(ρ=1)에만 점근적으로 효과적임을 밝혀내며, 높은 수의 작업에서 두 단계의 학습 과정을 규명한다: 초기 단계에서는 집단적 오차 감소가 일어나고, 이후에는 각 작업에 대해 서서히 학습이 진행된다. 이는 각 작업의 예제 수가 T에 비례할 때 발생한다.

ABSTRACT

We study the average case performance of multi-task Gaussian process (GP) regression as captured in the learning curve, i.e. the average Bayes error for a chosen task versus the total number of examples $n$ for all tasks. For GP covariances that are the product of an input-dependent covariance function and a free-form inter-task covariance matrix, we show that accurate approximations for the learning curve can be obtained for an arbitrary number of tasks $T$. We use these to study the asymptotic learning behaviour for large $n$. Surprisingly, multi-task learning can be asymptotically essentially useless, in the sense that examples from other tasks help only when the degree of inter-task correlation, $ρ$, is near its maximal value $ρ=1$. This effect is most extreme for learning of smooth target functions as described by e.g. squared exponential kernels. We also demonstrate that when learning many tasks, the learning curves separate into an initial phase, where the Bayes error on each task is reduced down to a plateau value by "collective learning" even though most tasks have not seen examples, and a final decay that occurs once the number of examples is proportional to the number of tasks.

연구 동기 및 목표

• 임의의 수의 작업에 대해 다중 작업 GP 회귀에서 학습 곡선에 대한 명시적이고 샘플링 기반이 아닌 근사치를 유도하기 위해.
• 학습 집합 크기 n이 증가함에 따라 베이즈 오차의 점근적 행동을 분석하기 위해.
• 다양한 작업 간 상관관계 ρ가 학습 효율성에 미치는 영향을 분석하고, 특히 많은 수의 작업에서의 극한 상황을 다루기 위해.
• T가 클 경우 학습 역학의 구조적 분리, 즉 집단 학습과 지연된 개별 작업 학습을 규명하기 위해.
• 두 작업 이상의 경우 ρ²에 비례하는 다중 작업 이득이 선형으로 증가한다는 가정을 도전하기 위해.

제안 방법

• 학습 예제가 덧셈적으로 기여하는 텐서 구조를 가진 특징 공간에서 각 작업의 베이즈 오차를 표현하기 위해.
• 어떤 작업에 예제를 추가할 때 베이즈 오차의 진화를 기술하는 편미분 방정식을 유도하기 위해.
• 특성선 방법을 사용하여 이러한 PDE를 풀어 학습 곡선에 대한 닫힌 형태의 근사치를 도출하기 위해.
• 이 근사치를 사용하여 n → ∞ 및 T → ∞일 때의 점근적 행동을 분석하기 위해.
• 효과적인 노이즈 수준과 재스케일된 예제 수를 통해 학습 곡선을 단일 작업 GP 행동과 연결하기 위해.
• 두 작업 사례와 고T 범위에서의 수치 시뮬레이션과의 비교를 통해 예측값을 검증하기 위해.

실험 결과

연구 질문

• RQ1 다중 작업 GP 설정에서 전체 작업에 걸친 학습 예제 총수에 따라 특정 작업의 베이즈 오차는 어떻게 감소하는가?
• RQ2 다중 작업 학습이 점근적으로 유익한 조건은 무엇인가, 특히 매끄러운 함수에 대해선 어떤가?
• RQ3 대부분의 작업에 예제가 전혀 없더라도 고T 범위에서 집단 학습이 일어날 수 있는가?
• RQ4 T > 2일 경우 다중 작업 오차 감소율이 ρ²에 비례하지 않는 이유는 무엇인가?
• RQ5 작업 수 T가 클 경우 학습 역학이 어떻게 두 개 이상의 단계로 분리되는가?

주요 결과

• 매끄러운 함수(예: 제곱 지수 커널)의 경우, 다중 작업 학습은 모든 작업이 완전히 상관되어 있을 때(ρ = 1)에만 점근적 이점을 제공하며, ρ < 1일 경우 오차 감소 속도는 ρ와 무관해진다.
• T → ∞ 이면서 n이 고정되어 있을 경우, 대부분의 작업에 예제가 없더라도 집단 학습 덕분에 작업당 베이즈 오차는 1 − ρ 수준에 정체된다.
• n이 T에 비례할 정도로 증가할 때만 두 번째로 느린 학습 단계가 시작되며, 이때 각 작업에 상당한 수의 예제가 도달하게 된다.
• 매끄러운 함수의 경우 점근적 오차는 (1 − ρ)^{1−α}로 감소하며, α → 1일 때 이는 ρ = 1이 아닐 경우 이득이 사라짐을 보여준다.
• T = 2일 경우 유효한 ρ²에 대한 선형 하한은 T > 2로 확장되지 않으며, 거친 함수의 경우 실제 감소율은 선형보다 빨라지지 않는다.
• 유도된 근사치는 몬테카를로 샘플링이나 단일 작업 곡선에 대한 사전 지식 없이도 학습 곡선을 정확히 예측하며, 수치 시뮬레이션과 잘 일치한다.