[論文レビュー] Chameleon: Learning Model Initializations Across Tasks With Different Schemas

Lukas Brinkmeyer, Rafael Rêgo Drumond+3 more|arXiv (Cornell University)|Sep 30, 2019

Machine Learning and Data Classification参考文献 41被引用数 5

ひとこと要約

Chameleonは、異なる特徴スキーマを持つタスク間でモデル初期化を可能にする画期的なメタラーニングフレームワークを提案する。本手法は、多様な入力表現を統一された特徴空間に一致させるためのタスク固有の並べ替え行列を学習することで、異なる入力スキーマに依存しない特徴表現を実現する。23のOpenML-CC18データセットにおいて、未構造化データでスキーマが異なる状況下でのクロスデータセット少数ショット分類の分野で最先端の性能を達成し、これは、異なるスキーマを持つ未構造化データに対して少数ショット分類を実現する初のアプローチである。

ABSTRACT

Parametric models, and particularly neural networks, require weight initialization as a starting point for gradient-based optimization. Recent work shows that a specific initial parameter set can be learned from a population of supervised learning tasks. Using this initial parameter set enables a fast convergence for unseen classes even when only a handful of instances is available (model-agnostic meta-learning). Currently, methods for learning model initializations are limited to a population of tasks sharing the same schema, i.e., the same number, order, type, and semantics of predictor and target variables. In this paper, we address the problem of meta-learning parameter initialization across tasks with different schemas, i.e., if the number of predictors varies across tasks, while they still share some variables. We propose Chameleon, a model that learns to align different predictor schemas to a common representation. In experiments on 23 datasets of the OpenML-CC18 benchmark, we show that Chameleon can successfully learn parameter initializations across tasks with different schemas, presenting, to the best of our knowledge, the first cross-dataset few-shot classification approach for unstructured data.

研究の動機と目的

• すべてのタスクが同じ入力スキーマ（同じ特徴数、順序、種別）を必要とする従来のメタラーニング手法の制限を解消すること。
• 特徴スキーマがタスク間で異なる未構造化テーブルデータに対して、少数ショット分類のためのメタラーニングを可能にすること。
• 異なるタスクからの入力を共通の表現に一致させつつ、タスク間で特徴の意味的整合性を保持するモデルを開発すること。
• 共通の変数を共有するがスキーマが不一致である多様なデータセットに対して、1つのメタ学習初期化が一般化可能であることを示すこと。
• 最適化ベースのメタラーニング（例：Reptile）の適用範囲を、画像のような固定形状入力にとどまらず、異種のデータ分布へ拡張すること。

提案手法

• 異なるスキーマを持つ入力を固定された共有入力空間に写像するセットワイドな特徴変換モデル「Chameleon」を提案する。
• 入力順序に依存しない標準化されたスキーマに特徴を一致させるためのタスク固有の並べ替え行列を導入する。
• 入力タスクの特徴分布と意味的特徴に基づいて、並べ替え行列を予測するニューラルネットワークを用いる。
• 同じ種類または分布の特徴が共有空間の同じ位置にマッピングされるよう、対照的損失を用いてモデルを訓練する。
• 整列された表現上で標準的なメタラーニングアルゴリズム（例：Reptile）を適用し、一般化可能なモデル初期化を学習する。
• テーブルデータおよび異なるニューラルネットワークからの潜在表現の両方をサポートし、視覚タスクにおいてもスキーマ不変の一致を実現する。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングフレームワークは、異なる特徴スキーマを持つタスク間で、頑健なモデル初期化を学習できるか？
• RQ2 異なるタスクからの多様な入力表現を共通の特徴空間に一致させつつ、意味的整合性を保持できるか？
• RQ3 提案された一致機構は、異種のテーブルデータセットにおいて最先端の少数ショット分類性能を達成できるか？
• RQ4 Chameleonは、元のデータがテーブル形式でない場合でも、異なるモデルからの潜在表現に一般化可能か？
• RQ5 Chameleonの性能は、入力スキーマが異なるデータセットにおいて、標準的なメタラーニングベースラインと比較してどうなるか？

主な発見

• Chameleonは、OpenML-CC18ベンチマークの23のデータセットにおいて、スキーマ不一致タスクで標準的なメタラーニングベースラインを上回る最先端の少数ショット分類性能を達成した。
• 多様なスキーマ不一致データセットで学習した場合、糖尿病や心疾患分類などのタスクで少数ショット精度が顕著に向上した。
• VowelおよびWDBCデータセットでは、学習済みエンコーディングを用いたChameleonが、それぞれ0.993 ± 0.010および0.937 ± 0.004の精度を達成し、ランダムおよび固定エンコーディングベースラインを上回った。
• ゼロショット転送においてもモデルは頑健である：新しい少数ショットタスクで微調整した場合、Pendigitsデータセットで0.635 ± 0.017の精度を達成し、すべてのベースラインを上回った。
• 画像ネットワークからの潜在表現に対しても、Chameleonは正しく表現を一致させることができ、テーブルデータにとどまらない一般化性を示した。
• アブレーションスタディの結果、学習された並べ替え行列が不可欠であることが確認された：固定またはランダムエンコーディングを用いる場合、すべてのデータセットで顕著に低い性能を示した。