[論文レビュー] The Role of Global Labels in Few-Shot Classification and How to Infer Them

Ruohan Wang, Massimiliano Pontil+1 more|arXiv (Cornell University)|Aug 9, 2021

Domain Adaptation and Few-Shot Learning参考文献 28被引用数 5

ひとこと要約

本稿では、少数ショット学習における有効な特徴の事前学習を可能にするために、局所的なタスクラベルから潜在的なグローバルラベルを推論する新しいメタラーニングフレームワーク、MetaLabel Learning (MeLa) を提案する。これらの推論ラベルを活用することで、tiered ImageNet や MetaDataset といったベンチマークデータセットにおいて最先端の性能を達成し、真のグローバルラベルが入手不可能な状況でも、事前学習が依然として非常に有効であることを示している。

ABSTRACT

Few-shot learning is a central problem in meta-learning, where learners must quickly adapt to new tasks given limited training data. Recently, feature pre-training has become a ubiquitous component in state-of-the-art meta-learning methods and is shown to provide significant performance improvement. However, there is limited theoretical understanding of the connection between pre-training and meta-learning. Further, pre-training requires global labels shared across tasks, which may be unavailable in practice. In this paper, we show why exploiting pre-training is theoretically advantageous for meta-learning, and in particular the critical role of global labels. This motivates us to propose Meta Label Learning (MeLa), a novel meta-learning framework that automatically infers global labels to obtains robust few-shot models. Empirically, we demonstrate that MeLa is competitive with existing methods and provide extensive ablation experiments to highlight its key properties.

研究の動機と目的

• 特徴の事前学習が少数ショット学習におけるメタラーニング性能を向上させる理由を理論的に説明すること。
• 事前学習がグローバルラベルを必要とすることの制限を解消し、独立してアノテートされたタスクが存在する現実世界の設定において、グローバルラベルがしばしば入手不可能であるという問題に対処すること。
• 実用的なフレームワークを構築し、局所的なタスク制約から一貫性のあるグローバルラベルを自動で推論することで、このような状況下でも事前学習を可能にすること。
• 実験的に、推論されたラベルを用いた事前学習が、最先端の手法と同等の頑健な一般化性能を達成することを検証すること。

提案手法

• MeLa は、グローバルラベルの推論問題を、各タスクの局所ラベルを制約として用いる制約付きクラスタリング問題として定式化する。
• 2つの主要な制約を課す：(1) タスク内ですべての同じ局所ラベルを持つサンプルは、同じグローバルクラスタに割り当てられなければならない、(2) グローバルクラスタの数は、タスク間で現れる一意な局所ラベルの数と一致しなければならない。
• 微分可能クラスタリング目的関数を用いて、埋め込み空間とグローバルラベル割り当てを同時に最適化することで、エンドツーエンドの学習を可能にする。
• 推論されたグローバルラベルを活用して、統合されたデータセット上で特徴の事前学習を実施し、その後メタラーナーの初期化に使用する。
• メタラーニング性能と正確なグローバルラベル推論の両方をバランスさせる共同目的関数を用いて、フレームワークを学習する。
• アプローチは tiered ImageNet および MetaDataset で評価され、局所的制約がラベル推論に与える影響を確認するためのアブレーションスタディが実施されている。

実験結果

リサーチクエスチョン

• RQ1 なぜ特徴の事前学習が少数ショットメタラーニングにおいて顕著な性能向上をもたらすのか、そしてその理論的関連性は何か？
• RQ2 グローバルラベルが直接入手不可能な状況でも、局所的なタスクラベルからグローバルラベルを効果的に推論できるか？
• RQ3 推論されたグローバルラベルを用いた事前学習でも、少数ショット学習において依然として強力な一般化性能が得られるか？
• RQ4 局所的なタスク制約は、グローバルラベル推論の正確性と頑健性にどのように影響を与えるか？

主な発見

• MetaDataset（Aircraft, CUB, VGG-F lower）では、1ショットで66.3%、5ショットで82.4%の精度を達成し、事前学習を行わない FEAT や FRN よりも優れた性能を示した。
• tiered ImageNet では、1ショットで69.0%、5ショットで84.1%の精度を達成し、真のグローバルラベルが存在しないにもかかわらず、競争力のある性能を示した。
• MetaDataset では79.3%のクラスタリング精度、94.7%のタスクが正しくクラスタリングされたことから、ノイズや多様なアノテーションが存在する中でも、MeLa が信頼性高くグローバルラベルを推論できることを示している。
• アブレーションスタディの結果、特に同じ局所ラベルを持つサンプルがグループ化されるという制約を課すことで、ラベル推論精度と下流タスクの性能が顕著に向上することが分かった。
• 局所的制約を無視した場合、tiered ImageNet ではテスト精度が5%以上低下し、その重要性が確認された。
• ランダム初期化やベースラインモデルと比較して一貫した性能向上を示し、MetaDataset では4%以上の向上を達成した。これは、推論ラベルを用いた事前学習が依然として効果的であることを裏付けている。