[論文レビュー] MxML: Mixture of Meta-Learners for Few-Shot Classification

Minseop Park, Jungtaek Kim+3 more|arXiv (Cornell University)|Apr 11, 2019

Domain Adaptation and Few-Shot Learning参考文献 27被引用数 5

ひとこと要約

MxMLは、クエリタスクの潜在的特徴に基づいて複数のベースメタラーナーに最適な重みを動的に割り当てる重み予測ネットワーク（WPN）を用いた、少サンプル分類のためのタスク適応型メタラーナーの混合モデルを提案する。この手法は、分布内および分布外の少サンプル分類ベンチマークにおいて、最先端のモデルおよびそのアンサンブルを著しく上回り、多様な視覚ドメインにわたる強力な一般化性能を示している。

ABSTRACT

A meta-model is trained on a distribution of similar tasks such that it learns an algorithm that can quickly adapt to a novel task with only a handful of labeled examples. Most of current meta-learning methods assume that the meta-training set consists of relevant tasks sampled from a single distribution. In practice, however, a new task is often out of the task distribution, yielding a performance degradation. One way to tackle this problem is to construct an ensemble of meta-learners such that each meta-learner is trained on different task distribution. In this paper we present a method for constructing a mixture of meta-learners (MxML), where mixing parameters are determined by the weight prediction network (WPN) optimized to improve the few-shot classification performance. Experiments on various datasets demonstrate that MxML significantly outperforms state-of-the-art meta-learners, or their naive ensemble in the case of out-of-distribution as well as in-distribution tasks.

研究の動機と目的

• 従来のメタラーニングにおける限界、すなわちメタトレーニングタスクとは異なる分布からのテストタスクでは性能が低下することを是正すること。
• 異なるデータセットで事前学習された複数のメタラーナーを活用することで、新規の分布外タスクに対しても一般化可能な手法を開発すること。
• 各新しいタスクの特徴に基づいて、ベースメタラーナーを動的に選択・組み合わせるアンサンブルメカニズムを設計すること。
• 各新しいタスクに対して再トレーニングや関連データセットの手動選択を必要とせずに、少サンプル分類の性能を向上させること。

提案手法

• 異なる視覚ドメインに特化するように、複数のデータセット固有のメタラーナー（例：miniImageNet、CUB200、CIFAR10）を学習する。
• クエリタスクの潜在的埋め込みを入力とし、ベースメタラーナーの最適な混合重みを予測する重み予測ネットワーク（WPN）を用いる。
• 各データセットのホールドアウトセットのクラスを用いてWPNを学習し、未知のタスクにおけるメタラーナー性能の評価と組み合わせ方を学習する。
• 推論時にWPNが決定する重みに基づいて、ベースメタラーナー出力の重み付き平均として最終予測を形成する混合モデルを構築する。
• 分布内および分布外のタスクにおける少サンプル分類精度を向上させるために、MxML全体をエンドツーエンドで最適化する。
• 2段階のトレーニング設定を採用：ベースメタラーナーはそれぞれのデータセットで学習され、WPNはデータ漏洩を避けるために別々のバリデーションスプリットのクラスで学習される。

実験結果

リサーチクエスチョン

• RQ1 異なるデータセットで学習されたメタラーナーの混合は、単一モデルやナイーブアンサンブルと比較して、分布外の少サンプル分類タスクにおいてより良い一般化性能を示すか？
• RQ2 外部メトリクスや再トレーニングに依存せずに、新しいタスクの特徴に基づいて推論時に混合係数を適応的に決定できるか？
• RQ3 WPNを介してメタラーナー性能を評価する学習が、一様平均や固定重み割り当てと比較して、少サンプル分類精度を向上させるか？
• RQ4 関連するが異なるデータセットから追加のメタラーナーを導入した場合、MxMLは分布内タスクでの性能をどの程度向上させるか？

主な発見

• MxMLは、miniImageNetからの1ショット5ウェイ分類で51.393%の精度（95%信頼区間：0.765）を達成し、データセット特化モデル（50.741%）および単一モデル（47.432%）を上回った。
• 5ショット5ウェイ分類では、MxMLは69.338%の精度（95%信頼区間：0.642）に達し、データセット特化モデル（67.781%）および一様平均ベースライン（66.007%）を上回った。
• OmniglotからMNISTへの分布外タスクでテストした際、MxMLは個々のモデルおよびナイーブアンサンブルを上回り、ドメインシフトに対して強いロバストネスを示した。
• WPNは関連するメタラーナーに高い重みを割り当てるよう学習しており、例としてCIFAR10でテストする際にはCIFAR100モデルに高い重みを、CUB200でテストする際にはAwA2/Caltech256モデルに高い重みを割り当てている。これは、タスクに応じた適応的処理が有効に機能していることを示している。
• 分布内設定でも、MxMLは単一モデルおよびアンサンブルを常に上回り、同じ分布内でも多様なメタラーナーの組み合わせが一般化性能を向上させることを示している。
• 混合係数の可視化により、MxMLがタスク類似度に基づいて関連するメタラーナーに注目する能力を学習していることが確認された。特に、動物分類など意味的に類似したデータセットからのモデルに高い重みが割り当てられる傾向がある。