[論文レビュー] A Hybrid Approach with Optimization and Metric-based Meta-Learner for Few-Shot Learning

Duo Wang, Yu Cheng+3 more|arXiv (Cornell University)|Apr 4, 2019

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 3

ひとこと要約

本論文では、最適化ベースのメタラーニングとメトリックベースのベースラーナーを組み合わせることで、クラス数の柔軟な変動に対応し一般化性能を向上させるハイブリッド少数ショット学習フレームワーク、Meta-Metric-Learnerを提案する。タスク固有のメトリックラーナーにおける勾配更新をメタ-SGDメタラーナーがガイドすることで、不均衡なクラス分布やマルチソースデータを伴う現実的で標準的な少数ショット設定の両方で、最先端の性能を達成する。

ABSTRACT

Few-shot learning aims to learn classifiers for new classes with only a few training examples per class. Most existing few-shot learning approaches belong to either metric-based meta-learning or optimization-based meta-learning category, both of which have achieved successes in the simplified "$k$-shot $N$-way" image classification settings. Specifically, the optimization-based approaches train a meta-learner to predict the parameters of the task-specific classifiers. The task-specific classifiers are required to be homogeneous-structured to ease the parameter prediction, so the meta-learning approaches could only handle few-shot learning problems where the tasks share a uniform number of classes. The metric-based approaches learn one task-invariant metric for all the tasks. Even though the metric-learning approaches allow different numbers of classes, they require the tasks all coming from a similar domain such that there exists a uniform metric that could work across tasks. In this work, we propose a hybrid meta-learning model called Meta-Metric-Learner which combines the merits of both optimization- and metric-based approaches. Our meta-metric-learning approach consists of two components, a task-specific metric-based learner as a base model, and a meta-learner that learns and specifies the base model. Thus our model is able to handle flexible numbers of classes as well as generate more generalized metrics for classification across tasks. We test our approach in the standard "$k$-shot $N$-way" few-shot learning setting following previous works and a new realistic few-shot setting with flexible class numbers in both single-source form and multi-source forms. Experiments show that our approach can obtain superior performance in all settings.

研究の動機と目的

• 既存の少数ショット学習手法がタスク間で均一なクラス数を仮定しているという制限を是正すること。
• 一貫したタスク不変メトリックに依存するメトリックベース手法におけるドメイン一般化の問題を克服すること。
• 最適化ベースのメタラーニングが、クラス数が異なる異種のタスク固有ネットワーク構造を扱えるようにすること。
• メタラーナーがガイドするタスク適応メトリックを学習することで、少数ショット学習における一般化性能を向上させること。
• 不均衡なクラス分布を伴う現実的で多様な設定における、単一ソースおよびマルチソース少数ショット学習設定での性能評価を行うこと。

提案手法

• モデルは、タスク固有のメトリックベースのベースラーナーにおける勾配降下をガイドするため、初期パラメータを予測するメタ-SGDメタラーナーを用いる。
• ベースラーナーは、例えばプロトタイプネットワークやマッチングネットワークのような非パrametricなメトリック学習アプローチを採用し、クラス数の変動に強く対応できる。
• メタラーナーの予測値がメトリック空間をパラメータ化するために用いられ、タスク固有のメトリック適応が可能になる。
• フレームワークは、補助データソースが一般化性能を向上させるための単一ソースおよびマルチソース少数ショット学習をサポートする。
• モデルは2段階のプロセスで訓練される：まずメタラーナーがベースモデルのパラメータを予測し、次に各タスクごとにベースモデルをファインチューニングする。
• 本手法は、Omniglotデータセットで90度回転によるデータ拡張を適用した1ショットおよび5ショット設定でも評価されている。

実験結果

リサーチクエスチョン

• RQ1 クラス数が異なる少数ショット学習タスクを効果的に処理できるハイブリッドメタラーニングフレームワークは、実現可能か？
• RQ2 メタラーナーが、多様なドメインにまたがるタスク固有の適応的メトリックを学習可能なメトリックベースモデルをガイドできるか？
• RQ3 最適化ベースのメタラーニングとメトリックベースのベースラーナーを組み合わせることで、マルチソース少数ショット学習における一般化性能が向上するか？
• RQ4 本手法は、不均衡かつ現実的な少数ショット設定において、既存のベースラインと比較して優れた性能を示すか？
• RQ5 均一なクラス構造を必要とせずに、異なるデータソース（例：Omniglotのアルファベット）間で一般化できるか？

主な発見

• 標準的な5ウェイ1ショット設定では、Meta-SGD や マッチングネットワークなどのベースラインモデルを上回る性能を示した。
• より困難とされる3対5ショットのスプリットにおいても、モデルは優れた正確性を達成し、クラスの不均衡に強いことを示した。
• Omniglotにおけるマルチソース設定では、1ショット、30%クラススプリットで86.84%の正確性を達成し、すべてのベースラインを上回った。
• 不均衡クラス状況において、訓練曲線から明らかなように、ベースラインよりも速く収束し、より高いテスト正確性を達成した。
• メタトレインおよびメタテストセットの両方が不均衡なクラス分布を示しても、モデルは強固な性能を維持しており、その柔軟性を証明した。
• 特に現実的な少数ショット設定において、単一ソースおよびマルチソース両方の形で、既存手法に比して一貫した改善を示した。