[論文レビュー] Object-Level Representation Learning for Few-Shot Image Classification

Liangqu Long, Wei Wang+4 more|arXiv (Cornell University)|May 28, 2018

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

この論文では、大規模な補助データセットから学習したオブジェクトレベルの関係を活用することで、少数のラベル付き例での画像分類を向上させるメトリックベースのアプローチ、Object-Level Few-Shot Learning (OLFSL) を提案する。画像間のオブジェクト特徴を抽出・比較し、それらの関係を集約して画像レベルの類似度スコアを算出することで、微調整なしに、Omniglotで最先端の性能を達成し、MiniImageNetでは5-way 1-shot設定で8.5%、5-way 5-shot設定で2.7%の絶対的向上を達成する。

ABSTRACT

Few-shot learning that trains image classifiers over few labeled examples per category is a challenging task. In this paper, we propose to exploit an additional big dataset with different categories to improve the accuracy of few-shot learning over our target dataset. Our approach is based on the observation that images can be decomposed into objects, which may appear in images from both the additional dataset and our target dataset. We use the object-level relation learned from the additional dataset to infer the similarity of images in our target dataset with unseen categories. Nearest neighbor search is applied to do image classification, which is a non-parametric model and thus does not need fine-tuning. We evaluate our algorithm on two popular datasets, namely Omniglot and MiniImagenet. We obtain 8.5\% and 2.7\% absolute improvements for 5-way 1-shot and 5-way 5-shot experiments on MiniImagenet, respectively. Source code will be published upon acceptance.

研究の動機と目的

• 各クラスのラベル付き例が限られているため、深層ネットワークが困難を感じる少数のラベル付き例での画像分類の課題に対処すること。
• 異なるデータセットからの画像に共通するオブジェクトレベルのコンポonentを活用することで、少数のラベル付き例での学習における一般化性能を向上させること。
• パrameterの最適化を必要とせず、最近傍探索を用いた分類を行う非パrametricで微調整フリーな手法を開発すること。
• 大規模な補助データセットから一般化可能なオブジェクトレベルの関係を学習し、未学習のカテゴリの画像類似度を推定すること。
• Omniglot や MiniImageNet のような標準的な少サンプルベンチマークで最先端の性能を達成すること。

提案手法

• OLFSLは3モジュールのフレームワークを採用する：画像からオブジェクト特徴を抽出する特徴抽出器 $\mathcal{F}_{\Phi}(x)$ を用いた表現学習。
• 2つの画像からのオブジェクト特徴のペアを比較することで、関係ネットワーク $\mathcal{R}_{\theta}(a,b)$ を用いてオブジェクトレベルの関係を学習する。
• すべてのオブジェクトペアの関係を、類似度ネットワーク $\mathcal{S}_{\phi}(\cdot)\mapsto s_{ab}$ を用いて1つの画像レベルの類似度スコアに集約する。
• モデルは、ターゲットの少サンプルデータセットに適用する前に、一般化されたオブジェクトレベルの関係を学習するために、大規模な補助データセット（例：ImageNet）で事前学習を行う。
• 推論段階では、微調整を避けるために、学習済みの類似度スコアに基づいてターゲットデータセット上で最近傍探索を実行する。
• この手法はモデルに依存せず、スケーラブルであり、特徴抽出と関係マッチングに依存するのみである。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様なデータセットから学習したオブジェクトレベルの関係は、未学習のカテゴリにおける少サンプル画像分類を向上させることができるか？
• RQ2 全体像の埋め込みではなく、コンponentsレベルの比較によって画像類似度をモデル化することで、少サンプル設定でより優れた性能が得られるか？
• RQ3 非パrametricで微調整フリーなアプローチが、少サンプル学習で最先端の性能を達成できる程度はどの程度か？
• RQ4 オブジェクトレベルの表現を用いることで、異なる少サンプルベンチマーク間でより良い一般化性能が得られるか？
• RQ5 この手法は、画像解像度や抽出されたオブジェクト領域の数に対してどの程度感受性を示すか？

主な発見

• OLFSLはOmniglotデータセットで最先端の性能を達成し、既存の手法を上回る。
• MiniImageNetでは、5-way 1-shot分類で8.5%の絶対的向上、5-way 5-shot分類で2.7%の向上を達成した。
• 画像解像度に対して頑健であり、84x84から224x224に変更しても性能低下が最小限に抑えられた。
• オブジェクト領域の数（$d^2$）は精度に一定の影響を与えるが、急激な低下は見られず、$d=10$で最適な性能が得られた。
• 微調整なしに、事前に計算された類似度スコアに基づく最近傍探索に依存するだけで効果的である。
• このアプローチはデータセット間で一般化が良く、補助データセットからのゼロショット転移が強く示された。