[論文レビュー] Efficient K-Shot Learning with Regularized Deep Networks

Donghyun Yoo, Haoqi Fan+2 more|arXiv (Cornell University)|Oct 6, 2017

Domain Adaptation and Few-Shot Learning被引用数 11

ひとこと要約

本論文は、事前学習された深層ネットワークのニューロンパラメータをクラスタリングすることで過学習を軽減し、一般化性能を向上させる正則化手法を提案する。類似した活性化パターンを持つニューロンをグループ化し、強化学習を用いてクラスタ割り当てを最適化することで、複数のデータセットおよびショット設定で、最先端の微調整ベースライン比最大10%の精度向上を達成した。

ABSTRACT

Feature representations from pre-trained deep neural networks have been known to exhibit excellent generalization and utility across a variety of related tasks. Fine-tuning is by far the simplest and most widely used approach that seeks to exploit and adapt these feature representations to novel tasks with limited data. Despite the effectiveness of fine-tuning, itis often sub-optimal and requires very careful optimization to prevent severe over-fitting to small datasets. The problem of sub-optimality and over-fitting, is due in part to the large number of parameters used in a typical deep convolutional neural network. To address these problems, we propose a simple yet effective regularization method for fine-tuning pre-trained deep networks for the task of k-shot learning. To prevent overfitting, our key strategy is to cluster the model parameters while ensuring intra-cluster similarity and inter-cluster diversity of the parameters, effectively regularizing the dimensionality of the parameter search space. In particular, we identify groups of neurons within each layer of a deep network that shares similar activation patterns. When the network is to be fine-tuned for a classification task using only k examples, we propagate a single gradient to all of the neuron parameters that belong to the same group. The grouping of neurons is non-trivial as neuron activations depend on the distribution of the input data. To efficiently search for optimal groupings conditioned on the input data, we propose a reinforcement learning search strategy using recurrent networks to learn the optimal group assignments for each network layer. Experimental results show that our method can be easily applied to several popular convolutional neural networks and improve upon other state-of-the-art fine-tuning based k-shot learning strategies by more than10%

研究の動機と目的

• 限られたデータと高いパラメータの冗長性のため、few-shot学習のための微調整における過学習の課題に対処すること。
• 相関するパラメータをクラスタリングすることで、微調整中の深層ネットワークの有効な容量を低減し、グループ内類似性とグループ間多様性を維持すること。
• 構造的変更なしに任意の事前学習ネットワークに適用可能な、タスクに依存せずアーキテクチャに依存しない手法を開発すること。
• kショットサンプル間の特徴分離を高めるために、三つ組損失を導入することで、低データ環境における監視を強化すること。
• 各ネットワーク層にわたる最適なクラスタリング構成を効率的に探索するためのメカニズムを設計すること。

提案手法

• kショットタスクにおける活性化類似度に基づき、各層のニューロンパラメータをクラスタリングし、共通の勾配更新を持つグループを形成する。
• 活性化パターンのグループ内類似性とグループ間直交性を強制することで、表現多様性を維持する。
• kショットサンプル間の特徴識別性を向上させるために、交差エントロピー損失と三つ組損失を組み合わせたハイブリッド損失を導入する。
• 再帰的方策ネットワークを備えた強化学習エージェントを用いて、層に跨る最適なクラスタリング構成を探索する。
• バリデーション精度を最大化するようにRLエージェントを訓練することで、クラスタリングハイパーパramータのエンドツーエンド最適化を可能にする。
• 構造的変更なしに標準的な事前学習ネットワーク（例：ResNet-18, VGG）に適用可能であり、既存の微調整パイプラインと互換性を保つ。

実験結果

リサーチクエスチョン

• RQ1 事前学習ネットワーク内のニューロンパラメータのクラスタリングは、kショット微調整における過学習を軽減できるか？
• RQ2 活性化パターンのグループ内類似性とグループ間直交性を強制することで、低データ環境における一般化性能が向上するか？
• RQ3 強化学習ベースの探索戦略は、複数のネットワーク層に跨る最適なクラスタリング構成を効率的に特定できるか？
• RQ4 標準的な微調整および他の最先端のkショット学習手法と比較して、提案手法の精度と頑健性はどのように異なるか？
• RQ5 パラメータの冗長性は、事前学習ネットワークの深層部にも存在するため、全層にわたるクラスタリングが正当化されるか？

主な発見

• CIFAR-100からCIFAR-10への転移学習における1ショット学習精度は、標準的な微調整手法と比較して6.37%向上し、マージン損失を用いた強力なベースラインと比較しても4.3%向上した。
• 10ショット学習では60.30%の精度を達成し、次に優れた手法（GNA+三つ組損失+グリーディ）を1.74ポイント上回った。
• 本手法は全ショット設定で一貫して性能向上を示し、標準的な微調整手法と比較して1ショット学習で1.52%、10ショット学習で2.24%の絶対的向上を達成した。
• ResNet-18の全層をクラスタリングすることで最良の性能（10ショットで84.08%の精度）が得られ、冗長性が初期層に限らないことを確認した。
• クラスタリングにより予測の標準偏差が顕著に低下した（例：1ショットで10.66から0.76に減少）、訓練の安定性向上を示した。
• 強化学習ベースの探索戦略は、最適なクラスタリング構成を効果的に同定できており、図6に示すように反復回数を重ねるごとに性能が向上した。