[論文レビュー] FiT: Parameter Efficient Few-shot Transfer Learning for Personalized and Federated Image Classification

Aliaksandra Shysheya, John Bronskill+3 more|arXiv (Cornell University)|Jun 17, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

FiTは、固定されたImageNet_pretrainedバックボーンと学習可能なFiLMアダプターレイヤー、およびメタ学習されたナイーブベイズ分類器を組み合わせることで、パラメータ効率的で少数ショットの転移学習を実現する、パーソナライズドかつフェデレーテッド画像分類のための手法を提案する。VTAB-1kでSOTAの精度を達成し、BiTの学習可能なパラメータの1%未塔に抑え、低ショット設定におけるモデル更新サイズと通信コストを顕著に削減する。

ABSTRACT

Modern deep learning systems are increasingly deployed in situations such as personalization and federated learning where it is necessary to support i) learning on small amounts of data, and ii) communication efficient distributed training protocols. In this work, we develop FiLM Transfer (FiT) which fulfills these requirements in the image classification setting by combining ideas from transfer learning (fixed pretrained backbones and fine-tuned FiLM adapter layers) and meta-learning (automatically configured Naive Bayes classifiers and episodic training) to yield parameter efficient models with superior classification accuracy at low-shot. The resulting parameter efficiency is key for enabling few-shot learning, inexpensive model updates for personalization, and communication efficient federated learning. We experiment with FiT on a wide range of downstream datasets and show that it achieves better classification accuracy than the leading Big Transfer (BiT) algorithm at low-shot and achieves state-of-the art accuracy on the challenging VTAB-1k benchmark, with fewer than 1% of the updateable parameters. Finally, we demonstrate the parameter efficiency and superior accuracy of FiT in distributed low-shot applications including model personalization and federated learning where model update size is an important performance metric.

研究の動機と目的

• データが限られ、通信効率が重要なパーソナライズドおよびフェデレーテッド機械学習設定における低ショット学習の課題に対処すること。
• 転移学習の精度とメタ学習のパラメータ効率性を組み合わせ、モデル更新の効率性を向上させること。
• 微調整における学習可能なパラメータの数を減らしつつ、多様な下流タスクにおける高い分類精度を維持すること。
• クライアントとサーバー間で送信されるモデル更新のサイズを最小限に抑えることで、通信効率の高いフェデレーテッド学習を可能にすること。
• 従来のベースライン（例：BiT）と比較して、低ショットのパーソナライズドおよびフェデレーテッド学習のシナリオにおいて優れた性能を示すこと。

提案手法

• すべてのパラメータを固定したImageNet-21Kで事前学習されたバックボーン（BiT-M-R50x1）を用いて特徴を抽出する。
• 各下流タスクに適応するために微調整される、パラメータ効率的なFiLMアダプターレイヤーを導入し、更新可能なパラメータを最小限に抑える。
• 標準の線形層の代わりに、エピソードベースの訓練とメタ学習されたナイーブベイズ分類器を採用し、低ショット環境での一般化性能を向上させる。
• メトリック学習に基づく最終層を適用し、エピソードベースのプロトタイプネットワーク（ProtoNets）を用いて訓練することで、少数ショットでの一般化性能を強化する。
• 二段階の訓練プロトコルを採用：第一段階ではFiLMレイヤーをサポートセット上で微調整し、第二段階ではメタ学習の観点からクエリセット上で分類器を訓練する。
• パーソナライズドおよびフェデレーテッド学習の両設定に同一アーキテクチャを適用し、クライアント固有の更新とフェデレーテッド学習におけるグローバルな集約を実現する。

実験結果

リサーチクエスチョン

• RQ1 パラメータ効率的な適応手法は、標準的な転移学習よりも少ない学習可能なパラメータで、より高い少数ショット分類精度を達成できるか？
• RQ2 メタ学習された分類器とパラメータ効率的なアダプタを組み合わせることで、低ショットおよび多様な下流タスクにおける性能が向上するか？
• RQ3 限られたクライアントデータを前提としたフェデレーテッド学習において、FiTはBiTと比較して精度と通信効率の両面で優れているか？
• RQ4 少数の例しか入手できない状況でも、FiTは最小限の更新サイズで効果的なパーソナライズドモデル更新を可能にするか？
• RQ5 ナイーブベイズ分類器を用いたエピソードベースの訓練は、標準の線形分類器よりも少数ショット画像分類で優れた性能を示すか？

主な発見

• FiTは、BiTが要する学習可能なパラメータの1%未塔でVTAB-1kベンチマークでSOTAの精度を達成した。
• 低ショット設定（1クラスあたり2〜10ショット）において、CIFAR-100やQuickdrawを含む複数のデータセットで、FiTはBiTを上回る分類精度を示した。
• フェデレーテッド学習において、FiTは学習可能なパラメータが著しく少ないため、BiTと比較して通信コストを桁違いに削減した。
• パーソナライズド学習では、ユーザー1人あたり数例のデータで高い精度を達成でき、モデル更新サイズはBiTと比較して最大100倍小さくなった。
• FiLMアダプタとメタ学習された分類器の組み合わせは、標準の線形ヘッドよりも一般化性能が優れており、特にデータが少ない環境で顕著に効果を発揮した。
• FiTは、ImageNet-21Kとは異なる多様なデータセットに対しても強い性能を維持し、事前学習分布を超えた頑健性を示した。