[論文レビュー] Meta-Learning across Meta-Tasks for Few-Shot Learning

Nanyi Fei, Zhiwu Lu+4 more|arXiv (Cornell University)|Feb 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 52被引用数 12

ひとこと要約

本論文は、少数ショット学習におけるメタタスク間の関係を活用する手法を提案し、分離されたクラス集合間のドメインギャップを処理するためのメタドメイン適応（MDA）と、不足サンプルのクラスに対するロバスト性を向上させるためのメタ知識蒸留（MKD）の2つの新しい目的関数を導入している。理論的貢献は有望であるが、実験に誤りが発覚したため、著者らが論文を撤回した。

ABSTRACT

Existing meta-learning based few-shot learning (FSL) methods typically adopt an episodic training strategy whereby each episode contains a meta-task. Across episodes, these tasks are sampled randomly and their relationships are ignored. In this paper, we argue that the inter-meta-task relationships should be exploited and those tasks are sampled strategically to assist in meta-learning. Specifically, we consider the relationships defined over two types of meta-task pairs and propose different strategies to exploit them. (1) Two meta-tasks with disjoint sets of classes: this pair is interesting because it is reminiscent of the relationship between the source seen classes and target unseen classes, featured with domain gap caused by class differences. A novel learning objective termed meta-domain adaptation (MDA) is proposed to make the meta-learned model more robust to the domain gap. (2) Two meta-tasks with identical sets of classes: this pair is useful because it can be employed to learn models that are robust against poorly sampled few-shots. To that end, a novel meta-knowledge distillation (MKD) objective is formulated. There are some mistakes in the experiments. We thus choose to withdraw this paper.

研究の動機と目的

• エピソード学習中にメタタスク間の関係を無視する既存のメタラーニング手法の制限を是正すること。
• 少数ショット学習における既知クラスと未知クラスの差異に起因するドメインギャップに対処してモデルのロバスト性を向上させること。
• 同一クラス集合を持つメタタスクを活用することで、低ショット状況下でのモデル一般化性能を向上させること。
• メタタスク間の関係を活用する新しい学習目的を構築し、少数ショット性能を向上させること。

提案手法

• クラス集合が不一致であるメタタスク間の特徴表現を整えることでドメインギャップを軽減する、メタドメイン適応（MDA）という学習目的を提案する。
• 同一クラス集合を共有するメタタスク間で知識を転送することで、不足サンプルの例に対するロバスト性を向上させる、新しい目的であるメタ知識蒸留（MKD）を導入する。
• 一様にランダムにではなく、メタタスク間の対比較関係に基づいて戦略的にメタタスクをサンプリングする訓練戦略を設計する。
• MDA目的を用いて、異なるクラスを持つメタタスク間で特徴分布を整えることで、ソース・ターゲットドメインシフトを模擬する。
• MKDを用いて、性能の良いメタタスクから、サンプル数が少ないか代表的でない他のメタタスクへ知識を蒸留する。
• MDAとMKDの目的を統合されたメタラーニングフレームワーク内で組み合わせ、一般化性能とロバスト性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 メタタスク間の関係を活用することで、ランダムなエピソードサンプリングを越えて少数ショット学習をどのように改善できるか。
• RQ2 メタドメイン適応（MDA）は、既知クラスと未知クラス間のドメインギャップが及える悪影響をどの程度軽減できるか。
• RQ3 メタ知識蒸留（MKD）は、低頻度または不十分にサンプルされた少数ショット例に対するモデル性能を向上させられるか。
• RQ4 クラスの重複度や不一致に基づく構造的メタタスクサンプリングは、メタラーナーの一般化性能にどのような影響を与えるか。

主な発見

• 提案されたメタドメイン適応（MDA）目的は、クラス集合が不一致であるメタタスク間のドメインシフトに対するロバスト性を向上させることを目的として設計された。
• メタ知識蒸留（MKD）は、同一クラスを持つメタタスク間での知識転送を通じて、不足サンプルの少数ショット例におけるモデル性能を向上させることを目的として導入された。
• 著者らは、実験的評価において重大な誤りを特定した。
• これらの実験的欠陥のため、MDAおよびMKD目的の概念的妥当性は保たれているものの、著者らは論文を撤回することを決定した。