[論文レビュー] Learning to learn via Self-Critique

Antreas Antoniou, Amos Storkey|arXiv (Cornell University)|May 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 29被引用数 11

ひとこと要約

本論文では、教師なし損失関数を評価ネットワークを用いて学習することで、ラベルなしのターゲット集合データ上でモデル重みを精緻化することにより少数ショット学習を向上させる、トランスductiveなメタラーニングフレームワークであるSelf-Critique and Adapt (SCA) を提案する。サポート集合およびターゲット集合からのモデル予測と関係性特徴を統合することで、Mini-ImageNetおよびCUBで最先端の性能を達成し、ベースラインと比較して誤差率を4パーセンテージポイント以上低減した。

ABSTRACT

In few-shot learning, a machine learning system learns from a small set of labelled examples relating to a specific task, such that it can generalize to new examples of the same task. Given the limited availability of labelled examples in such tasks, we wish to make use of all the information we can. Usually a model learns task-specific information from a small training-set (support-set) to predict on an unlabelled validation set (target-set). The target-set contains additional task-specific information which is not utilized by existing few-shot learning methods. Making use of the target-set examples via transductive learning requires approaches beyond the current methods; at inference time, the target-set contains only unlabelled input data-points, and so discriminative learning cannot be used. In this paper, we propose a framework called Self-Critique and Adapt or SCA, which learns to learn a label-free loss function, parameterized as a neural network. A base-model learns on a support-set using existing methods (e.g. stochastic gradient descent combined with the cross-entropy loss), and then is updated for the incoming target-task using the learnt loss function. This label-free loss function is itself optimized such that the learnt model achieves higher generalization performance. Experiments demonstrate that SCA offers substantially reduced error-rates compared to baselines which only adapt on the support-set, and results in state of the art benchmark performance on Mini-ImageNet and Caltech-UCSD Birds 200.

研究の動機と目的

• 推論時におけるラベル付きサポート集合データのみを用いる従来の少数ショットメタラーニング手法の制限を解消すること。
• ラベルなしのターゲット集合例からの非教師付き情報を取り入れることで、メタラーニングモデルの一般化性能を向上させること。
• 勾配ベースおよび非勾配ベースの両方のメタラーニング手法と互換性を持つ汎用的で即挿入可能なフレームワークを開発すること。
• 推論時におけるターゲット集合でのモデル更新を導くためのラベルなし損失関数を生成する評価ネットワークを学習すること。
• ターゲット集合の入力を用いたトランスductiveな適応が、少数ショット分類の精度を顕著に向上させることを実証すること。

提案手法

• パラメータWでパrameter化された評価ネットワークCを、ベースモデルが抽出した特徴を用いてターゲット集合からの損失信号を出力するように訓練する。
• 評価ネットワークは、ターゲット集合におけるモデル予測、タスク埋め込みの関係性、およびサポート-ターゲット間の関係性ネットワークを入力とし、ラベルなしの損失を生成する。
• この学習された損失を用いて勾配を計算し、ラベルなしのターゲット集合上でベースモデルのパラメータθNをθN+Iに更新することで、トランスductiveな適応を実現する。
• θ0およびWを最適化するため、外ループで標準的な分類損失をターゲット集合のラベルに適用して、評価ネットワークとベースモデルを共同で訓練する。
• MAMLやMatching Networksを含む任意のメタラーニングフレームワークに、トレーニング後に評価モジュールを追加することで、本手法は互換性を持つ。
• 推論時には、まず評価ネットワークが生成する損失を用いてベースモデルをターゲット集合上で更新し、その後ターゲット集合の予測を行う。

実験結果

リサーチクエスチョン

• RQ1 推論時にラベルなしのターゲット集合データを活用することで、ラベル付きサポート集合から学習された内容を超えてメタラーニングモデルの性能が向上するか？
• RQ2 ニューラルネットワークが、少数ショットタスクにおけるモデル一般化性能を向上させる意味のあるラベルなし損失関数を学習できるか？
• RQ3 評価ネットワークに基づく損失を用いたトランスductiveな適応は、多様な少数ショットベンチマークで一貫した性能向上をもたらすか？
• RQ4 評価ネットワークが効果的な損失信号を生成するために最も有益な入力特徴は何か？
• RQ5 提案手法は、アーキテクチャの変更なしに多様なメタラーニングアーキテクチャに統合可能か？

主な発見

• SCAは、5クラス1ショットのMini-ImageNetベンチマークで62.86% ± 0.79%という新たな最先端の精度を達成し、前回の最先端を4パーセンテージポイント以上上回った。
• 5クラス5ショットのMini-ImageNetタスクでは、85.63% ± 0.66%の精度を達成し、新たな最先端の結果を樹立した。
• ベースラインのMAML++と比較して、CUBデータセットでは全ショット設定の平均で4.05パーセンテージポイントの性能向上を達成した。
• 評価ネットワークは、モデル予測とサポート集合およびターゲット集合間の関係性特徴に注目するように学習し、効果的な適応に不可欠な要素を特定した。
• SCAは、低ショットおよび高ショットの両設定で一貫して性能を向上させ、ロバストネスと一般化性能を示した。
• 勾配ベースでないメタラーニングモデル（例：Matching Networks）に対しても本手法は有効であり、広範な互換性を示した。