[論文レビュー] A Representation Learning Perspective on the Importance of Train-Validation Splitting in Meta-Learning

Nikunj Saunshi, Arushi Gupta+1 more|arXiv (Cornell University)|Jun 29, 2021

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、メタラーニングにおけるトレイン・バリデーション分割が、表現を低ランクかつ表現力豊かに正則化することにより、少数ショット学習におけるサンプル効率を著しく向上させることを提案する。理論的分析と実験を通じて、トレイン・バリデーション分割がk次元のタスク部分空間に対してO(k)のサンプル複雑度を達成できることを示し、明示的な正則化がなければΩ(d)のサンプルが必要となるトレイン・トレイン分割と比較して優れていることを示している。

ABSTRACT

An effective approach in meta-learning is to utilize multiple "train tasks" to learn a good initialization for model parameters that can help solve unseen "test tasks" with very few samples by fine-tuning from this initialization. Although successful in practice, theoretical understanding of such methods is limited. This work studies an important aspect of these methods: splitting the data from each task into train (support) and validation (query) sets during meta-training. Inspired by recent work (Raghu et al., 2020), we view such meta-learning methods through the lens of representation learning and argue that the train-validation split encourages the learned representation to be low-rank without compromising on expressivity, as opposed to the non-splitting variant that encourages high-rank representations. Since sample efficiency benefits from low-rankness, the splitting strategy will require very few samples to solve unseen test tasks. We present theoretical results that formalize this idea for linear representation learning on a subspace meta-learning instance, and experimentally verify this practical benefit of splitting in simulations and on standard meta-learning benchmarks.

研究の動機と目的

• トレイン・バリデーション分割が、実証的成功を超えてなぜメタラーニングにおけるサンプル効率を向上させるのかを理解すること。
• トレイン・バリデーション分割が明示的な制約なしに表現を低ランク構造へと暗黙的に正則化する仕組みを分析すること。
• 表現の質とサンプル複雑度の観点から、トレイン・バリデーション分割とトレイン・トレイン分割（tr-tr）を比較すること。
• 線形表現学習における部分空間タスクにおいて、トレイン・バリデーション分割の優位性を理論的に裏付けること。
• OmniglotやMiniImageNetなどのシミュレーションとベンチマークで、仮説を実証的に検証すること。

提案手法

• 外側のループが表現関数を最適化し、内側のループが固定された表現上でリッジ回帰を実行する表現学習としてメタラーニングを形式化する。
• d次元の入力空間内のk次元部分空間に定義されたタスクを持つ線形メタラーニング設定において、トレイン・バリデーションの目的関数を分析する。
• トレイン・バリデーション目的関数の最小化が、真のk次元部分空間と整合した表現を学習することを保証し、O(k)のサンプル複雑度を達成できることを証明する。
• トレイン・トレインの変種と比較し、明示的な正則化がなければ、良い表現学習を保証できず、Ω(d)のサンプル複雑度にまで及ぶ可能性があることを示す。
• RepLearnとiMAMLを用いて、OmniglotとMiniImageNetでネットワーク容量と正則化の変化を考慮した実証的検証を実施する。
• t-SNEと特異値解析を用いて、トレイン・バリデーションとトレイン・トレインモデルの間で表現のクラスタリングとランクを可視化・比較する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングにおけるトレイン・バリデーション分割は、表現を低ランクに暗黙的に正則化するのか？
• RQ2 少々ショット学習におけるサンプル複雑度の観点から、トレイン・バリデーション分割とトレイン・トレイン分割はどのように比較されるか？
• RQ3 明示的な低ランク制約なしに、トレイン・バリデーション分割はO(k)のサンプル複雑度を達成できるか？
• RQ4 なぜトレイン・トレイン分割は明示的な正則化がなければ良い表現を学習できないのか？
• RQ5 モデル容量やデータセット選択の変化に対して、トレイン・バリデーション手法はどれほど頑健か？

主な発見

• トレイン・バリデーション目的関数は、真のk次元部分空間と整合した表現力豊かで低ランクの表現を学習することを保証し、新しいタスクに対してO(k)のサンプル複雑度を達成する。
• これに対して、トレイン・トレイン目的関数は明示的な正則化がなければ、良い表現学習を保証できず、Ω(d)のサンプル複雑度にまで及ぶ可能性がある。
• Omniglot 5-way 1-shotでは、正則化なしでトレイン・バリデーションは97.25%のメタテスト精度を達成したが、トレイン・トレインは67.78%に低下した。
• 明示的なフロベニウスノルム正則化を適用した場合、トレイン・トレインの性能は向上したが、依然としてトレイン・バリデーションに劣り、λの値にかかわらず97.19–97.66%の精度を維持した。
• MiniImageNetでは、トレイン・バリデーションが一貫してトレイン・トレインを上回り、容量係数ℓ=8のとき52.25%の精度を示したのに対し、トレイン・トレインは25.28%にとどまった。
• t-SNEの可視化では、トレイン・バリデーションの表現がトレイン・トレインよりもより凝集しており、クラス分離性が高く、ランクが低いことが示された。