[論文レビュー] General-Purpose In-Context Learning by Meta-Learning Transformers

Louis Kirsch, J. Harrison+2 more|arXiv (Cornell University)|Dec 8, 2022

Machine Learning and Data Classification被引用数 6

ひとこと要約

本稿では、明示的な損失関数や最適化アルゴリズムを必要とせず、多様なタスクを学習できる汎用的インコントラスト学習フレームワーク、GPICLを提案する。モデルサイズとタスクの多様性を拡大することで、記憶から一般化への遷移が起こり、性能のボトルネックはパラメータ数ではなく利用可能なメモリサイズに起因し、MNIST、Fashion-MNIST、CIFAR10などのデータセットに対してゼロショット一般化が可能になる。

ABSTRACT

Modern machine learning requires system designers to specify aspects of the learning pipeline, such as losses, architectures, and optimizers. Meta-learning, or learning-to-learn, instead aims to learn those aspects, and promises to unlock greater capabilities with less manual effort. One particularly ambitious goal of meta-learning is to train general-purpose in-context learning algorithms from scratch, using only black-box models with minimal inductive bias. Such a model takes in training data, and produces test-set predictions across a wide range of problems, without any explicit definition of an inference model, training loss, or optimization algorithm. In this paper we show that Transformers and other black-box models can be meta-trained to act as general-purpose in-context learners. We characterize transitions between algorithms that generalize, algorithms that memorize, and algorithms that fail to meta-train at all, induced by changes in model size, number of tasks, and meta-optimization. We further show that the capabilities of meta-trained algorithms are bottlenecked by the accessible state size (memory) determining the next prediction, unlike standard models which are thought to be bottlenecked by parameter count. Finally, we propose practical interventions such as biasing the training distribution that improve the meta-training and meta-generalization of general-purpose in-context learning algorithms.

研究の動機と目的

• 明示的なアーキテクチャ設計や最適化アルゴリズムの定義なしに、例示から学習する汎用的インコントラスト学習システムの開発。
• Transformerのようなブラックボックスモデルが、一般化可能な学習アルゴリズムをメタ学習する条件の特定。
• インコントラスト学習における記憶から一般化への遷移を支配する要因（モデルサイズ、タスク数、メタ最適化など）の同定。
• パラメータ数と比較して、メモリ容量（状態サイズ）がメタ学習されたインコントラスト学習者に与える制限の程度の特定。
• カリキュラム学習による偏ったデータ分布など、実用的な干渉策を提案し、メタ一般化の向上を図る。

提案手法

• Transformerベースのアーキテクチャを、明示的な損失関数や最適化アルゴリズムの定義なしに、入力の例示（サポートセット）を出力予測にマッピングするようにエンドツーエンドで訓練する。
• メタトレーニングは、実際のデータセット（例：MNIST、CIFAR10）からサンプリングされた多様なタスク分布に対して実施され、各タスクは少数の例を用いた分類問題として定義される。
• モデルは、(x_i, y_i)ペアの入力シーケンスに注目することで、クエリx'に対するy'の予測を行うことで、インコントラスト学習を模倣する。
• モデルの内部状態が学習のための動的メモリとして機能するブラックボックスで、シーケンス・ツー・シーケンス学習の枠組みを用いる。
• メタ最適化は、メタトレーニング分布上で標準的なバックプロパゲーションを用い、一般化性能を向上させるようにハイパーパrameterを調整する。
• 実用的干渉策には、偏ったデータ分布によるカリキュラム学習や、最適化手法と学習率の適切な選択が含まれ、メタトレーニングの安定性を高める。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックスなTransformerがメタトレーニング中に、多様なデータセットに対してタスクの記憶から一般化へと遷移する条件は何か？
• RQ2 モデルサイズは、メタ学習されたモデルにおける汎用的インコントラスト学習能力の出現にどのように影響するか？
• RQ3 メタ学習されたインコントラスト学習アルゴリズムの性能が、パラメータ数よりも利用可能なメモリ（状態サイズ）に起因する制限を受ける程度はどの程度か？
• RQ4 偏ったデータ分布や最適化されたメタ最適化といった干渉策が、汎用的インコントラスト学習におけるメタ一般化を向上させられるか？
• RQ5 異なるニューラルネットワークアーキテクチャや入力／出力サイズのスケーリングにおいて、メタ学習されたインコントラスト学習アルゴリズムの能力はどのように変化するか？

主な発見

• 記憶から一般化への遷移は、大規模なモデルサイズと多数のメタトレーニングタスクの条件下で発生し、明確なアルゴリズム的段階が観察される。
• メタ学習されたインコントラスト学習アルゴリズムは、総パラメータ数ではなく、利用可能なメモリ（隠れ状態サイズ）によってボトルネックにかかっていることが示され、メモリ容量が主な制約要因であると判明した。
• 十分なスケールとメタトレーニングの多様性があれば、モデルはMNIST、Fashion-MNIST、CIFAR10などのデータセットに対してゼロショット一般化を達成する。
• メタトレーニング中に偏ったデータ分布が使用されると、カリキュラムとして機能し、メタ一般化性能が顕著に向上する。
• メタ最適化の安定性は極めて重要である：最適でないハイパーパrameterや最適化手法は、メタトレーニングの失敗や一般化性能の低下を引き起こす。
• 本手法により、1つのブラックボックスモデル内でドメイン固有の学習と汎用的学習を統合できる汎用的学習アルゴリズムの発見が可能になった。