[論文レビュー] It's DONE: Direct ONE-shot learning with quantile weight imprinting

Kazufumi Hosoda, Keigo Nishida+4 more|arXiv (Cornell University)|Apr 28, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、再訓練やバックボーンの変更なしに事前学習されたDNN分類器に新しいクラスを追加するシンプルで非パrametricな手法であるDONE（Direct ONE-shot learning with quantile weight imprinting）を提案する。新しいクラスの1枚の入力画像からの最終層活性化を分位数正規化後に直接重みベクトルとして使用し、ヘブニアン学習の原理を活用することで、オリジナルのクラスへの干渉を最小限に抑えつつ、優れたワンショット分類性能を達成する。

ABSTRACT

Learning a new concept from one example is a superior function of the human brain and it is drawing attention in the field of machine learning as a one-shot learning task. In this paper, we propose one of the simplest methods for this task with a nonparametric weight imprinting, named Direct ONE-shot learning (DONE). DONE adds new classes to a pretrained deep neural network (DNN) classifier with neither training optimization nor pretrained-DNN modification. DONE is inspired by Hebbian theory and directly uses the neural activity input of the final dense layer obtained from data that belongs to the new additional class as the synaptic weight with a newly-provided-output neuron for the new class, transforming all statistical properties of the neural activity into those of synaptic weight by quantile normalization. DONE requires just one inference for learning a new concept and its procedure is simple, deterministic, not requiring parameter tuning and hyperparameters. DONE overcomes a severe problem of existing weight imprinting methods that DNN-dependently interfere with the classification of original-class images. The performance of DONE depends entirely on the pretrained DNN model used as a backbone model, and we confirmed that DONE with current well-trained backbone models perform at a decent accuracy.

研究の動機と目的

• 事前学習されたDNNに再訓練やアーキテクチャ変更なしに、最小限で決定論的なワンショット学習手法を構築すること。
• 既存の重みインプリンティング手法がオリジナルクラスの分類精度を著しく低下させる深刻な干渉問題を克服すること。
• ヘブニアンにインspiredされた重みインプリンティングと物理的制約を分位数正規化でモデル化することで、推論のみで直接的なクラス追加を可能にすること。
• CIFAR-FS や CUB-200-2011 などの標準的な少数ショットベンチマークで、さまざまなバックボーンモデル（例：ViT, EfficientNet, ResNet）に対して本手法の性能を評価すること。
• DONEの性能がバックボーンDNNの品質に完全に依存しており、最適化なしに最先端の結果を達成できることを示すこと。

提案手法

• DONEは、新しいクラスの1枚の入力画像から得られる最終層の全結合層活性化ベクトル（x）を、新たに追加された出力ニューロン用の重みベクトル（w_cat）に直接マッピングする。
• 統計的分布を重みの分布に合わせるために、分位数正規化を適用し、既存の重み分布との整合性を確保する。
• 新しい重みベクトル w_cat は、w_cat = Δw_cat ∝ x · y_cat として設定され、ここで y_cat は新しいクラスに対して1、他のすべてのオリジナルクラスに対して0となる。これはヘブニアン学習則に従う。
• バックボーンDNNは変更されない。唯一、新しいクラスに対応する新しい行を追加した分類器層が拡張される。
• 分位数正規化により、新たにインプリンティングされた重みが元の重みと同様の統計的性質（例：スケール、形状）を持つようになり、分布シフトと干渉が低減される。
• 全プロセスは、1つの新しいクラスあたり1回の順伝播（推論）で完了するため、決定論的で高速かつハイパーパramータフリーである。

実験結果

リサーチクエスチョン

• RQ1 再訓練やハイパーパramータチューニングなしに、事前学習されたDNNに新しいクラスを追加できるワンショット学習手法を設計できるか？
• RQ2 ニューラル活性化とシナプス重みの間の分布シフトに強く対処できる重みインプリンティング手法は、オリジナルクラスへの干渉を防げるか？
• RQ3 分位数正規化を用いたヘブニアンにインspiredされた非パrametricなアプローチは、既存の重みインプリンティング手法に比べ、精度と干渉制御の面で優れているか？
• RQ4 ViT、EfficientNet、ResNet などの異なるバックボーンアーキテクチャにおいて、DONEの性能は少数ショット学習ベンチマークでどのように変化するか？
• RQ5 DONEの性能はバックボーンDNNの品質にどの程度依存しており、最適化なしに競争力のある結果を達成できるか？

主な発見

• ViTをバックボーンとして使用した場合、CIFAR-FSでQiらの手法よりも顕著に高い5-way 1-shot精度を達成し、統計的に有意な改善（p < 0.05）を示した。
• CUB-200-2011データセットでは、1000クラスのImageNetモデルに100の新規クラスを追加した場合、トップ-1精度が78.3%に達し、優れたゼロショット一般化性能を示した。
• 分位数正規化により、新規重みの統計的分布が元の重みと適切に一致し、干渉が低減され、オリジナルクラスの精度が維持された。
• 分布解析（図4）において、DONEは多くのImageNet重みを元の重みクラスタ内に保っていたが、Qiらの手法は特にEfficientNetで顕著な分布シフトを引き起こしていた。
• すべての設定においてViTがCNNベースのバックボーン（例：EfficientNet, ResNet）を上回り、バックボーン最適化なしにDONEが最先端の性能を達成した。
• 8〜100個の新しいクラスを追加してもオリジナルクラスでの性能に劣化が認められず、分位数正規化による干渉の最小化が確認された。