[論文レビュー] A No-Free-Lunch Theorem for MultiTask Learning

Steve Hanneke, Samory Kpotufe|arXiv (Cornell University)|Jun 29, 2020

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿は、複数のタスク学習におけるノーフリーランチ定理を確立し、最適な分類器がタスク間で共有される場合、タスク数 $N$ が増加しても一般化率の向上を保証できる適応的アルゴリズムは存在しないことを証明している。ただし、ターゲットに近い順にタスクをランク付けするような分布に関する追加情報——たとえばターゲット分布からの距離の順序——がなければ、そのような保証は得られない。同じ最適分類器を共有している場合でさえ、最適な重み付けは一部のデータソースを除外する可能性があり、このような情報がなければ収束速度はノイズレベル $\beta$ によって根本的に制限される。

ABSTRACT

Multitask learning and related areas such as multi-source domain adaptation address modern settings where datasets from $N$ related distributions $\{P_t\}$ are to be combined towards improving performance on any single such distribution ${\cal D}$. A perplexing fact remains in the evolving theory on the subject: while we would hope for performance bounds that account for the contribution from multiple tasks, the vast majority of analyses result in bounds that improve at best in the number $n$ of samples per task, but most often do not improve in $N$. As such, it might seem at first that the distributional settings or aggregation procedures considered in such analyses might be somehow unfavorable; however, as we show, the picture happens to be more nuanced, with interestingly hard regimes that might appear otherwise favorable. In particular, we consider a seemingly favorable classification scenario where all tasks $P_t$ share a common optimal classifier $h^*,$ and which can be shown to admit a broad range of regimes with improved oracle rates in terms of $N$ and $n$. Some of our main results are as follows: $\bullet$ We show that, even though such regimes admit minimax rates accounting for both $n$ and $N$, no adaptive algorithm exists; that is, without access to distributional information, no algorithm can guarantee rates that improve with large $N$ for $n$ fixed. $\bullet$ With a bit of additional information, namely, a ranking of tasks $\{P_t\}$ according to their distance to a target ${\cal D}$, a simple rank-based procedure can achieve near optimal aggregations of tasks' datasets, despite a search space exponential in $N$. Interestingly, the optimal aggregation might exclude certain tasks, even though they all share the same $h^*$.

研究の動機と目的

• すべてのタスクが同じ最適分類器を持つ場合の、マルチタスク学習の根本的限界を調査すること。
• すべてのタスクが同じ最適分類器を持つ場合、適応的アルゴリズムがタスク数 $N$ と各タスクのサンプルサイズ $n$ が増加するにつれて、より良い一般化性能を達成できるかどうかを特定すること。
• 複数のデータセットの重み付けによる統合が、単一データセット学習よりも優れた性能を達成できる条件を同定すること。
• ターゲット分布からの距離の順序といった分布に関する情報が、適応的改善を可能にする役割を探索すること。

提案手法

• すべてのタスクが同じ最適分類器 $h^*$ を共有する $N$ 個の関連する分布 $P_t$ を想定する分類設定を構築し、ミニマックスレートを分析する。
• 過剰リスクのミニマックス上界と下界を導出。適切な条件下では、オракルレートが $N$ と $n$ の両方の増加に伴って改善されることを示す。
• ラベルの曖昧さを定量化するためのノイズパラメータ $\beta \in [0,1)$ を導入（例：Massartノイズでは $\beta=1$）。このパrameter が学習の根本的限界を決定づける。
• 分布構造に関する事前知識がなければ、いかなる適応的手法でも $n^{-1/(2-\beta)}$ より良いレートを達成できないことを証明する。
• ターゲット分布からの距離の順序でソースをランク付けする手法を用いて、指数的サイズの $2^N$ 個の重み付けの探索空間を考慮した、ランクに基づく重み付け手順を提案。この手順は、根本的に大きな探索空間にもかかわらず、近似的に最適なレートを達成する。
• 敵対的構成のもとで過剰リスクの下界を確立するために、反集中性の議論と十分統計量（例：正例・負例のカウント）を用いる。

実験結果

リサーチクエスチョン

• RQ1 すべてのタスクが同じ最適分類器を持つ場合、適応的マルチタスク学習アルゴリズムは、$N$ と $n$ が増加するにつれて一般化レートを向上させることができるか？
• RQ2 分布に関する情報がなければ、タスク数を増やしても性能向上の根本的限界があるのか？
• RQ3 指数的サイズの重み付けの探索空間 $2^N$ を有するにもかかわらず、単純なランクベースの重み付け手順が、近似的に最適な性能を達成できる条件は何か？
• RQ4 共有される最適分類器を持つにもかかわらず、なぜ通常の理論的バウンディングでは $N$ の増加に伴う性能向上が反映されないのか？
• RQ5 ノイズレベル $\beta$ は、適応的マルチタスク学習の根本的限界を決定づける役割を果たすのか？

主な発見

• すべてのタスクが同じ最適分類器 $h^*$ を共有している場合でさえ、$\beta < 1$ の場合、いかなる適応的アルゴリズムでも $n^{-1/(2-\beta)}$ より良いレートを保証できない。これは、根本的なノーフリーランチ制限を示している。
• $\beta = 1$（Massartノイズ）の場合、すべてのデータセットを単純にプールする方法が、$N$ と $n$ の両方の増加に伴ってほぼミニマックス最適なレートを達成する。これは、$h^*$ が共有されているという仮定のもとで成立する。
• すべての $h^*$ が同一であっても、最適な重み付けは一部のソースデータセットを除外する可能性がある。これは、すべてのデータが等しく寄与するわけではないことを示している。
• ターゲット分布からの距離の順序でソースをランク付けすることで、指数的サイズの $2^N$ 個の重み付けの探索空間を考慮した単純なランクベース手順が、近似的に最適な重み付けレートを達成できる。
• 任意の分類器が $c_0 \cdot n^{-1/(2-\beta)}$ より低いリスクを達成できない確率に下界 $\frac{1}{12} \cdot \frac{1}{96} \cdot \frac{1}{84} \approx 1.06 \times 10^{-4}$ を示し、より良い適応的レートの不可能性を証明している。
• タスク数 $N$ が大きく、各タスクのサンプルサイズ $n$ が固定であっても、この結果は成り立つ。これは、構造的知識がなければ $N$ の向上は達成できないことを示している。