[論文レビュー] Few-Shot Unsupervised Continual Learning through Meta-Examples

Alessia Bertugli, Stefano Vincenzi+2 more|arXiv (Cornell University)|Sep 17, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 4

ひとこと要約

本稿では、不均衡でクラスタリングから導かれるタスクを備えた、新しい少数ショット非教師あり継続的学習設定FUSIONを提案し、1つの「メタ例」を形成するために自己注意機構を用いるMEMLというメタラーニング手法を導入する。この手法は、OmniglotおよびMini-ImageNetで競争的な性能を達成しており、一部のケースでは教師ありベースラインを上回っており、データのバランスよりも小さな不均衡クラスターや特徴の多様性が一般化性能を向上させることを示している。

ABSTRACT

In real-world applications, data do not reflect the ones commonly used for neural networks training, since they are usually few, unlabeled and can be available as a stream. Hence many existing deep learning solutions suffer from a limited range of applications, in particular in the case of online streaming data that evolve over time. To narrow this gap, in this work we introduce a novel and complex setting involving unsupervised meta-continual learning with unbalanced tasks. These tasks are built through a clustering procedure applied to a fitted embedding space. We exploit a meta-learning scheme that simultaneously alleviates catastrophic forgetting and favors the generalization to new tasks. Moreover, to encourage feature reuse during the meta-optimization, we exploit a single inner loop taking advantage of an aggregated representation achieved through the use of a self-attention mechanism. Experimental results on few-shot learning benchmarks show competitive performance even compared to the supervised case. Additionally, we empirically observe that in an unsupervised scenario, the small tasks and the variability in the clusters pooling play a crucial role in the generalization capability of the network. Further, on complex datasets, the exploitation of more clusters than the true number of classes leads to higher results, even compared to the ones obtained with full supervision, suggesting that a predefined partitioning into classes can miss relevant structural information.

研究の動機と目的

• データが少量でラベルなし、かつ不均衡である現実世界の継続的学習のギャップを埋めるために、より現実的な新しい設定を提案すること。
• 災難的忘却を軽減し、非教師あり継続的学習において新しい不均衡なタスクにうまく一般化できるメタラーニングフレームワークを開発すること。
• 少数ショット非教師あり学習における不均衡なクラスターや特徴の多様性がモデルの一般化性能に与える影響を調査すること。
• 事前に定義されたクラス分割は構造的情報を欠いている可能性があり、真のクラス数よりも多くのクラスタを用いることで性能が向上することを示すこと。

提案手法

• 埋め込みネットワーク（Deep ClusterまたはACAI）を用いて、ラベルなしデータから潜在空間を学習した後、k-meansクラスタリングを適用して不均衡なタスクを形成する。
• クラスタのサイズにばらつきを持つタスクを構築し、データ分布を保持するとともに、人工的なバランス調整やクラスタ正則化を回避する。
• MEMLは二重ループのメタラーニング方式を採用：自己注意機構を用いて、最も代表的な特徴を集約して1つの「メタ例」を形成する内側のループでの更新を1回だけ行う。
• 外側のループでは、タスク固有のデータとトレーニング全体の履歴からランダムに抽出したデータの組み合わせを用いて、モデル全体の最適化を実行し、忘却を防ぐ。
• 自己注意係数は学習可能なネットワークによって計算され、各クラスタ内での最も情報量の多いサンプルを特定し、効率的かつ焦点を合わせた特徴の再利用を可能にする。
• 最適化にはAdamを使用し、メタバッチサイズを1に設定。Omniglot、Mini-ImageNet、SlimageNet64、Cifar100を用いて分布外評価のためのテストを実施。

実験結果

リサーチクエスチョン

• RQ1 タスクが不均衡で、事前に定義されたクラスではなく、非教師ありクラスタリングから導かれる場合、メタラーニングモデルの性能はどのように変化するか？
• RQ2 小さなクラスタや不均衡なクラスタを用いることで、継続的学習における一般化性能と災難的忘却にどのような影響を与えるか？
• RQ3 1つのメタ例を形成する自己注意機構は、少数ショット非教師あり継続的学習における効率性と性能向上に寄与するか？
• RQ4 真のクラス数よりも多くのクラスタを用いることで、教師ありベースラインや固定されたクラス分割よりも高い性能が得られるか？
• RQ5 OmniglotやMini-ImageNetで学習したモデルが、Cifar100のような分布外データセットにどのように一般化するか？

主な発見

• Omniglotでは、5-way 1-shot設定で91.1%の精度を達成し、教師ありベースラインを上回っており、非教師あり継続的学習における強力な一般化性能を示している。
• Mini-ImageNetでは、5-way 1-shot設定で57.4%の精度に達しており、トレーニング中にラベルが存在しないにもかかわらず、競争的な性能を示している。
• アブレーションスタディの結果、自己注意によって導かれたメタ例に基づく更新が、ランダムサンプリングや同じタスクに対する複数回の更新よりも優れており、トレーニング時間とメモリ使用量を削減している。
• 実証的に、データのバランスよりも不均衡なクラスターや特徴の多様性が一般化性能においてより重要であることが示され、小さなクラスタが学習に有意義に寄与していることが示唆された。
• 真のクラス数よりも多くのクラスタを用いることで、複雑なデータセットでは完全な教師あり学習を上回る性能が得られ、事前に定義されたクラス境界が潜在的な構造的情報を欠いている可能性を示している。
• Cifar100では、OmniglotデータでFiLM層を用いてファインチューニングしたモデルが、2-way 1-shot設定で50.0%の精度を達成しており、分布外タスクへの転送性を示している。