[論文レビュー] Meta-Learning without Memorization

Mingzhang Yin, George Tucker+3 more|arXiv (Cornell University)|Dec 9, 2019

Domain Adaptation and Few-Shot Learning参考文献 36被引用数 72

ひとこと要約

この論文は、メタ学習における記憶化を主要な故障モードとして識別し、非相互排他的タスクでデータ駆動の適応を強制する情報理論的メタ正則化を提案する。これにより、困難な設定でMAMLとCNPの性能が向上する。

ABSTRACT

The ability to learn new concepts with small amounts of data is a critical aspect of intelligence that has proven challenging for deep learning methods. Meta-learning has emerged as a promising technique for leveraging data from previous tasks to enable efficient learning of new tasks. However, most meta-learning algorithms implicitly require that the meta-training tasks be mutually-exclusive, such that no single model can solve all of the tasks at once. For example, when creating tasks for few-shot image classification, prior work uses a per-task random assignment of image classes to N-way classification labels. If this is not done, the meta-learner can ignore the task training data and learn a single model that performs all of the meta-training tasks zero-shot, but does not adapt effectively to new image classes. This requirement means that the user must take great care in designing the tasks, for example by shuffling labels or removing task identifying information from the inputs. In some domains, this makes meta-learning entirely inapplicable. In this paper, we address this challenge by designing a meta-regularization objective using information theory that places precedence on data-driven adaptation. This causes the meta-learner to decide what must be learned from the task training data and what should be inferred from the task testing input. By doing so, our algorithm can successfully use data from non-mutually-exclusive tasks to efficiently adapt to novel tasks. We demonstrate its applicability to both contextual and gradient-based meta-learning algorithms, and apply it in practical settings where applying standard meta-learning has been difficult. Our approach substantially outperforms standard meta-learning algorithms in these settings.

研究の動機と目的

• メタ学習における記憶化の問題を公式化し、標準的な教師あり過学習と区別する。
• 情報理論を用いてデータ駆動の適応を促進する一般的なメタ正則化目的を提案する。
• メタ正則化がPAC-Bayesの一般化境界によって動機付けられることを示す。
• 勾配ベースおよび文脈的メタ学習の両方で、非相互排他的タスクに対するメタ正則化手法の顕著な性能向上を実証する。

提案手法

• 記憶化を防ぐため、確率的ボトルネック z* および I(y*; D | z*, θ) を高める目的を導入する（活性化式の式参照）。
• q(z*|x*, θ) から r(z*) へのKLダイバージェンスペナルティとして、計算可能なメタ正則化項を導出し、正則化損失を得る（Eq. 3）。
• メタパラメータ θ に対するメタ正則化を提案し、I(y1:N, D1:N; θ | x*1:N) を事前分布に対するKL項で境界づける（Eq. 4）。
• 活性化ベースとウェイトベースの正則化を統一MR目的として結合し（Eq. 5）、MAML（ウェイト）とCNP（エンコーダ）に適用、アルゴリズムは付録に記載。
• PAC-Bayes境界（定理1）を用いた理論的根拠を提供し、特定の条件下でMRが一般化を改善することを示す。
• 非相互排他的タスク全体に対して、MAML（MR-MAML(W)）およびCNPの派生形（MR-CNP）への適用性を示す。

実験結果

リサーチクエスチョン

• RQ1 メタ学習アルゴリズムやドメイン全体で、記憶化の問題はどの程度一般的か。
• RQ2 非相互排他的タスク分布における記憶化をメタ正則化は緩和できるか。
• RQ3 提案されたメタ正則化は勾配ベースと文脈ベースのメタ学習法の両方と互換性があるか。
• RQ4 PAC-Bayes分析が示唆するように、メタ正則化は一般化保証を改善するか。

主な発見

• 記憶化は非相互排他的タスクに対してMAMLとCNPにとって重大な課題であり、時にはテスト性能がほぼランダムとなる。
• メタ正則化されたMAMLとCNP（MR-MAMLとMR-CNP）は、効率的な適応と強い一般化を達成し、非相互排他的タスクで非正則化ベースラインを大幅に上回る。
• ウェイトに対するメタ正則化（MR-MAML(W)）は、学習率設定を跨いで適応解へ頑健に収束する傾向がある一方、活性化ベースのMRはハイパーパラメータに対してより敏感となりうる。
• PAC-Bayes分析は、MRが一般化境界を改善する理論的裏付けを提供し、ウェイトへのKLペナルティをより厳密な一般化保証につなげる。