[논문 리뷰] A No-Free-Lunch Theorem for MultiTask Learning

Steve Hanneke, Samory Kpotufe|arXiv (Cornell University)|2020. 06. 29.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 다중 작업 학습에 대한 No-Free-Lunch 정리를 수립하여, 최적의 분류기가 모든 작업 간에 공유될 경우, 추가적인 분포 정보—예를 들어 목표에 가까운 순서로 정렬된 작업들—가 제공되지 않는 한, 작업 수 $N$이 증가함에 따라 일반화율 향상을 보장할 수 없는 적응형 알고리즘의 존재를 증명한다. 심지어 최적의 분류기가 동일한 경우에도 최적의 집계는 일부 자료를 배제할 수 있으며, 이러한 정보가 없을 경우 수렴 속도는 소음 수준 $\beta$에 의해 본질적으로 제한된다.

ABSTRACT

Multitask learning and related areas such as multi-source domain adaptation address modern settings where datasets from $N$ related distributions $\{P_t\}$ are to be combined towards improving performance on any single such distribution ${\cal D}$. A perplexing fact remains in the evolving theory on the subject: while we would hope for performance bounds that account for the contribution from multiple tasks, the vast majority of analyses result in bounds that improve at best in the number $n$ of samples per task, but most often do not improve in $N$. As such, it might seem at first that the distributional settings or aggregation procedures considered in such analyses might be somehow unfavorable; however, as we show, the picture happens to be more nuanced, with interestingly hard regimes that might appear otherwise favorable. In particular, we consider a seemingly favorable classification scenario where all tasks $P_t$ share a common optimal classifier $h^*,$ and which can be shown to admit a broad range of regimes with improved oracle rates in terms of $N$ and $n$. Some of our main results are as follows: $\bullet$ We show that, even though such regimes admit minimax rates accounting for both $n$ and $N$, no adaptive algorithm exists; that is, without access to distributional information, no algorithm can guarantee rates that improve with large $N$ for $n$ fixed. $\bullet$ With a bit of additional information, namely, a ranking of tasks $\{P_t\}$ according to their distance to a target ${\cal D}$, a simple rank-based procedure can achieve near optimal aggregations of tasks' datasets, despite a search space exponential in $N$. Interestingly, the optimal aggregation might exclude certain tasks, even though they all share the same $h^*$.

연구 동기 및 목표

• 모든 작업이 동일한 최적의 분류기를 공유할 때 다중 작업 학습의 근본적 한계를 조사하기 위해.
• 모든 작업이 동일한 최적의 분류기를 공유할 경우, 적응형 알고리즘이 작업 수 $N$과 각 작업당 표본 수 $n$이 증가함에 따라 더 나은 일반화율을 달성할 수 있는지 확인하기 위해.
• 다양한 데이터셋의 집계가 단일 데이터셋 학습보다 더 나은 성능을 낼 수 있는 조건을 특정하기 위해.
• 목표 분포에 가까운 순서로 정렬된 자료의 분포 정보—예를 들어—이 적응형 향상 가능성을 가능하게 하는 역할을 하는지 탐색하기 위해.

제안 방법

• 모든 작업이 동일한 최적의 분류기 $h^*$를 공유하는 $N$개의 관련 분포 $P_t$를 포함하는 분류 설정을 구성하여 최소최대 속도를 분석한다.
• 초과 위험에 대한 최소최대 상한 및 하한을 유도하여, 적절한 조건 하에서 오рак루트가 $N$과 $n$에 따라 향상됨을 보여준다.
• 레이블의 모호성(예: $\beta=1$에서 Massart 노이즈)을 정량화하기 위해 노이즈 매개변수 $\beta \in [0,1)$를 도입하며, 이는 학습의 근본적 한계를 결정한다.
• 분포의 구조에 대한 사전 지식이 없는 한, 어떤 적응형 절차도 $n^{-1/(2-\beta)}$보다 나은 속도를 달성할 수 없음을 증명한다.
• 목표 분포와의 거리로 자료를 순서화한 랭킹을 사용하는 랭킹 기반 집계 절차를 제안하며, $2^N$ 개의 가능한 집계가 존재하는 것으로 지수적일지라도 근사 최적의 속도를 달성한다.
• 적대적 구성 하에서 초과 위험의 하한을 확립하기 위해 반집중성 추론과 충분통계량(예: 양성 및 음성 레이블의 수)을 활용한다.

실험 결과

연구 질문

• RQ1 모든 작업이 동일한 최적의 분류기를 공유할 경우, 적응형 다중 작업 학습 알고리즘이 작업 수 $N$과 표본 수 $n$이 증가함에 따라 일반화 속도를 향상시킬 수 있는가?
• RQ2 분포 정보가 제공되지 않을 경우, 더 많은 작업을 추가로 사용할 때 성능 향상의 근본적 한계는 무엇인가?
• RQ3 지수적 수의 가능한 집계가 존재하는 상황에서, 단순한 랭킹 기반 집계 절차가 근사 최적의 성능을 달성할 수 있는 조건은 무엇인가?
• RQ4 공통 최적의 분류기를 공유하는 유리한 설정에서도, 일반적인 이론적 경계가 왜 $N$ 증가에 따른 향상 반영을 하지 못하는가?
• RQ5 노이즈 수준 $\beta$는 적응형 다중 작업 학습의 근본적 한계를 결정하는 데 어떤 역할을 하는가?

주요 결과

• 모든 작업이 동일한 최적의 분류기 $h^*$를 공유하더라도, $\beta < 1$일 경우 어떤 적응형 알고리즘도 $n^{-1/(2-\beta)}$보다 나은 속도를 보장할 수 없으며, 이는 근본적인 No-Free-Lunch 제약을 보여준다.
• $\beta = 1$일 경우(Massart 노이즈), 모든 데이터셋을 단순히 융합하는 것이 거의 최소최대 최적의 속도를 달성하며, $N$과 $n$이 증가함에 따라 향상된다. 이는 공통 $h^*$ 가정 하에서 성립한다.
• 모든 $h^*$가 동일한 경우에도 최적의 집계는 일부 소스 데이터셋을 배제할 수 있으며, 이는 모든 데이터가 동일하게 기여하지는 않음을 시사한다.
• 목표 분포와의 거리로 소스를 순서화한 랭킹을 통해 단순한 랭킹 기반 절차가 $2^N$의 지수적 크기의 검색 공간이 존재하더라도 근사 최적의 집계 속도를 달성할 수 있다.
• 어떤 분류기라도 위험 수준이 $c_0 \cdot n^{-1/(2-\beta)}$ 이하로 떨어지지 않을 확률에 대한 하한을 $\frac{1}{12} \cdot \frac{1}{96} \cdot \frac{1}{84} \approx 1.06 \times 10^{-4}$ 로 설정하여, 더 나은 적응형 속도의 불가능성을 증명한다.
• 작업 수 $N$이 크고 각 작업당 표본 수 $n$이 고정되어 있을 경우에도 결과가 유지되며, 이는 $N$ 향상이 사전 구조 지식 없이선 달성 불가능함을 보여준다.