[論文レビュー] Meta-Learning Initializations for Image Segmentation

Sean M. Hendryx, Andrew Leach+2 more|arXiv (Cornell University)|Dec 13, 2019

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 6

ひとこと要約

この論文は、FOMAMLおよびReptileの一次順応メタラーニングを、効率的で高速な適応が可能な新しいニューラルネットワークアーキテクチャ「EfficientLab」を導入することで、少数ショット画像セグメンテーションに拡張する。テスト時適応のハイパーパramータをベイズ最適化で最適化するメタトレーニングにより、FSS-1000で最先端の性能を達成した。また、10個のラベル付き例を越えて、メタ学習で得た初期化が従来の転移学習を上回ることを示した。

ABSTRACT

We extend first-order model agnostic meta-learning algorithms (including FOMAML and Reptile) to image segmentation, present a novel neural network architecture built for fast learning which we call EfficientLab, and leverage a formal definition of the test error of meta-learning algorithms to decrease error on out of distribution tasks. We show state of the art results on the FSS-1000 dataset by meta-training EfficientLab with FOMAML and using Bayesian optimization to infer the optimal test-time adaptation routine hyperparameters. We also construct a small benchmark dataset, FP-k, for the empirical study of how meta-learning systems perform in both few- and many-shot settings. On the FP-k dataset, we show that meta-learned initializations provide value for canonical few-shot image segmentation but their performance is quickly matched by conventional transfer learning with performance being equal beyond 10 labeled examples. Our code, meta-learned model, and the FP-k dataset are available at https://github.com/ml4ai/mliis .

研究の動機と目的

• 一次順応MAML型アルゴリズムが、高次元かつ歪んだパラメータ空間を持つ少数ショット画像セグメンテーションのような密度予測タスクに効果的に拡張可能かどうかを調査すること。
• テスト時適応ルーチンのハイパーパramータに依存するメタ学習初期化の性能感度を評価すること。
• 従来の訓練がメタ学習初期化を上回るようになるラベル付き例の数を特定すること。
• 少額ショットと多数ショットの両領域におけるメタラーニング性能の実証的分析のための新しいベンチマークデータセットFP-kを構築すること。
• 少数ショットから多数ショットの設定までスケーラブルな統一学習システムを提供すること。複数のモデルや複雑なアンサンブルを必要としない。

提案手法

• 画像セグメンテーションにおける効率的メタラーニングを目的とした、軽量で高速学習可能なニューラルネットワークアーキテクチャ「EfficientLab」を提案する。
• 一次順応MAMLおよびReptileアルゴリズムを、セマンティックセグメンテーションの高次元的で密度出力の設定に適応する。
• メタトレーニング後に、テスト時適応ルーチン（学習率、早期停止の忍耐値）の最適なハイパーパラメータを探索するためにベイズ最適化を採用する。
• 適応プロセスの最適化を支援するため、メタラーニングにおけるテスト誤差の形式的定義を導入する。
• 少額ショットと多数ショットの両領域での性能評価を可能にするために、5つのタスクを含み、各タスクに420個のラベル付き例を持つFP-kベンチマークデータセットを構築する。
• 一般化性能を向上させるために、標準の大規模データトレーニングと整合する、学習済み統計と集団推定値を用いたバッチ正則化を採用する。

実験結果

リサーチクエスチョン

• RQ1 一次順応MAML型アルゴリズムは、少数ショット画像セグメンテーションの高次元パラメータ空間と歪んだデータ分布に効果的に拡張可能か？
• RQ2 推論時におけるメタ学習初期化のテスト時性能は、推論時に使用する適応ルーチンのハイパーパラメータにどれほど敏感か？
• RQ3 何枚のラベル付き例が存在する時点で、SGDによる従来のファインチューニングがメタ学習初期化を上回るのか？
• RQ4 1つのメタ学習初期化が、少数ショットと多数ショットの両設定において効果的に一般化可能か？
• RQ5 一般化を最適化する適応ルーチンの設定が存在するか？また、それはメタトレーニング時に使用された設定と異なるか？

主な発見

• FOMAMLメタトレーニングとベイズ最適化による適応ハイパーパラメータを用いた提案されたEfficientLabモデルは、FSS-1000データセットで最先端の平均IoUを達成した。
• 1クラスあたり10個未満のラベル付き例がある状況では、メタ学習初期化がImageNetや共同訓練初期化を上回った。
• 10個以上のラベル付き例がある場合、メタ学習初期化の性能は従来の転移学習手法と同等またはそれを上回った。
• テスト時適応ルーチンの最適ハイパーパラメータ（例：学習率、早期停止の忍耐値）は、メタトレーニング時に使用されたものと異なり、別々の最適化が必要であることが示された。
• 研究では、テスト時適応ルーチンのハイパーパラメータが性能に極めて敏感であることが判明した。特に、分布外一般化において早期停止の忍耐値が重要であることが分かった。
• 理論的および実証的分析により、MAML型アルゴリズムが固定された更新ルーチンにおける経験的リスクを最小化することは確認されたが、そのルーチン自体のハイパーパラメータを内因的に最適化するわけではないことが示された。