[論文レビュー] Meta-learning with differentiable closed-form solvers

Luca Bertinetto, João F. Henriques+2 more|arXiv (Cornell University)|May 21, 2018

Domain Adaptation and Few-Shot Learning参考文献 54被引用数 151

ひとこと要約

本論文は、 differentiable ridge and logistic regression solvers (R2-D2 and LR-D2) を用いた meta-learning を提案し、エピソード特有の高速なベース学習器として機能させ、閉形式解や IRLS ベースの解法を通じたバックプロパゲーションによる迅速な few-shot 適応を実現します。高次元埋め込みと Woodbury の恒等による高速化とともに、Omniglot、mini-ImageNet、および cifar-fs で競争力あるまたは優れた結果を達成します。

ABSTRACT

Adapting deep networks to new concepts from a few examples is challenging, due to the high computational requirements of standard fine-tuning procedures. Most work on few-shot learning has thus focused on simple learning techniques for adaptation, such as nearest neighbours or gradient descent. Nonetheless, the machine learning literature contains a wealth of methods that learn non-deep models very efficiently. In this paper, we propose to use these fast convergent methods as the main adaptation mechanism for few-shot learning. The main idea is to teach a deep network to use standard machine learning tools, such as ridge regression, as part of its own internal model, enabling it to quickly adapt to novel data. This requires back-propagating errors through the solver steps. While normally the cost of the matrix operations involved in such a process would be significant, by using the Woodbury identity we can make the small number of examples work to our advantage. We propose both closed-form and iterative solvers, based on ridge regression and logistic regression components. Our methods constitute a simple and novel approach to the problem of few-shot learning and achieve performance competitive with or superior to the state of the art on three benchmarks.

研究の動機と目的

• 高速な適応を促すため、単純で微分可能なベース学習器を用い、閉形式解または急速に収束する解を提供する。
• リッジ回帰およびロジスティック回帰のソルバーをメタ学習フレームワークに統合し、学習ステップをバックプロパゲーション可能にする。
• Woodbury の恒等を用いて高次元埋め込み設定での計算効率を示す。
• 提案手法を標準的な few-shot ベンチマークで評価し、最先端手法と比較する。

提案手法

• ベース学習器がエピソードデータからエピソード特有の重み W を計算する微分可能なリッジ回帰レイヤーを用いたメタ学習設定を提案する。
• 埋め込み次元が大きくエピソードサンプル数が小さい場合に、リッジ解を効率的に計算するため Woodbury 恒等を使用する。
• Iteratively Reweighted Least Squares (IRLS) を用いた反復的ロジスティック回帰ベース学習器へ拡張し、数ステップのニュートン様更新を得る。
• 回帰出力をスケールとバイアスで校正し、クロスエントロピー損失と整合させる。
• エピソード学習ステップを多数のエピソードにわたってバックプロパゲーションすることで、表現とハイパーパラメータをエンドツーエンドで学習する。
• メタパラメータ（特徴抽出器の重み、ridge λ、校正パラメータ）を SGD/Adam で held-out エピソード損失を最小化するよう学習する訓練プロトコルを提供する。

実験結果

リサーチクエスチョン

• RQ1 高速収束する微分可能ソルバー（リッジ回帰とロジスティック回帰）が few-shot タスクのメタ学習における効果的なベース学習器となり得るか。
• RQ2 閉形式解または IRLS ベースのソルバーを通じたバックプロパゲーションが高次元埋め込みで競争力のあるメタ学習性能を可能にするか。
• RQ3 Woodbury 恒等が少数サンプル・高次元設定における計算効率にどのような影響を与えるか。
• RQ4 リッジ正規化ベースとロジスティック回帰ベースの基盤が標準ベンチマーク上で最先端のメタ学習手法とどう比較されるか。
• RQ5 回帰出力を分類用のクロスエントロピー損失と組み合わせる際に必要な校正ステップは何か。

主な発見

• R2-D2（リッジ回帰）は、浅いアーキテクチャを用いた mini-ImageNet および cifar-fs で最先端に競合する結果を達成する。
• LR-D2（反復的ロジスティック回帰）は、異なる反復回数で同等の性能に達し、IRLS の柔軟性をこのメタ学習フレームワークで示す。
• Omniglot では本手法は競争力があり、より高い shot 設定を含む問題で良好な性能を示す。
• Woodbury ベースの定式化は、埋め込み次元が高くエピソードサイズが小さい場合に計算コストを大幅に削減する。
• 回帰出力の校正（スケーリングとバイアス）は、 few-shot 分類でクロスエントロピー損失と整合させる効果的な手法である。