[論文レビュー] Delta-encoder: an effective sample synthesis method for few-shot object recognition

Eli Schwartz, Leonid Karlinsky+7 more|arXiv (Cornell University)|Jun 12, 2018

Domain Adaptation and Few-Shot Learning参考文献 6被引用数 199

ひとこと要約

Δ-encoder は同じクラスのサンプル間の非線形変形を学習し、未知クラスの妥当な新規サンプルを合成して、外部データを用いずに効果的な少数ショットおよびワンショットの物体認識を可能にします。標準ベンチマークで最先端のワンショット結果を達成し、少数ショットでも競争力のある結果を示します。

ABSTRACT

Learning to classify new categories based on just one or a few examples is a long-standing challenge in modern computer vision. In this work, we proposes a simple yet effective method for few-shot (and one-shot) object recognition. Our approach is based on a modified auto-encoder, denoted Delta-encoder, that learns to synthesize new samples for an unseen category just by seeing few examples from it. The synthesized samples are then used to train a classifier. The proposed approach learns to both extract transferable intra-class deformations, or "deltas", between same-class pairs of training examples, and to apply those deltas to the few provided examples of a novel class (unseen during training) in order to efficiently synthesize samples from that new class. The proposed method improves over the state-of-the-art in one-shot object-recognition and compares favorably in the few-shot case. Upon acceptance code will be made available.

研究の動機と目的

• 画像認識において、非常に少ない例から新しいカテゴリを認識する課題に動機づけ、対処する。
• 見られたクラスから学習したクラス内の変形（データのデルタ）を転移させて、未知クラスの新しいサンプルを合成する仕組みを提案する。
• 同一クラスのペア間の変形を符号化し、それらを新規クラスのシード例にデコードして訓練サンプルを生成する Δ-encoder を訓練する。
• 標準的な少数ショットのベンチマークでアプローチを評価し、複数のデータセットで最新手法と比較する。

提案手法

• 同一クラスのペア (X, Y) からコンパクトな delta 表現 Z を出力するエンコーダを備えたオートエンコーダの変種を用いる。
• Y と Z から X を再構成するよう訓練し、意味のあるサンプル合成を可能にするために Y への依存を強制する。
• サンプリング時には多くの同一クラスペアから Z を収集し、未見クラスの単一のシード Y^u に D(Z, Y^u) を適用して新しいサンプルを生成する。
• 未見クラスごとに 1024 個の合成サンプルで線形分類器を訓練し、各シードに対して合成を繰り返して k-shot に拡張する。
• 特徴空間重み付けを用いた適応的な L1 再構成損失と 16 次元の Z を利用する。バックボーン特徴は事前計算済み（VGG16/ResNet18）で、小さな MLP エンコーダ/デコーダを併用する。

実験結果

リサーチクエスチョン

• RQ1 学習済みの delta 表現は、見られたクラスからの変形を転送して、わずかな例しか使わずに未知クラスの現実的なサンプルを合成できるか？
• RQ2 Δ-encoder は標準ベンチマークにおけるワンショットおよび少数ショット設定でどのように機能するか？
• RQ3 合成データは、シード実例の単純な拡張を超える非自明な情報を提供するか？

主な発見

手法	1ショット（5ウェイ） mini ImageNet	1ショット（5ウェイ） CIFAR-100	1ショット（5ウェイ） Caltech-256	1ショット（5ウェイ） CUB	平均 (1ショット)
Nearest neighbor (baseline)	59.9 / 69.7	66.7 / 79.8	73.2 / 83.6	69.8 / 82.6	-
MACO [19]	-	-	-	-	-
Meta-Learner LSTM [34]	-	-	-	-	-
Matching Nets [43]	-	-	-	-	-
MAML [10]	-	-	-	-	-
Prototypical Networks [39]	-	-	-	-	-
SRPN [30]	-	-	-	-	-
RELATION NET [41]	-	-	-	-	-
DEML+Meta-SGD ♡ [52]	-	-	-	-	-
Dual TriNet ♡ [4]	-	-	-	-	-
Δ-encoder ♡	59.9 / 69.7	66.7 / 79.8	73.2 / 83.6	69.8 / 82.6	84.3

• Δ-encoder は強力なワンショット性能を達成し、複数のデータセットでいくつかのベースラインを上回る。
• 1-shot/5-shot において、Δ-encoder は miniImageNet、CIFAR-100、Caltech-256、CUB を横断する最先端手法と比較して競争力のある、または優位な正確さを示す。
• アブレーション研究は、エンコーダの入力として Y を含め、非線形デルタを学習することが、線形オフセットや属性ベースの手法よりも性能を著しく向上させることを示している。
• 未知クラスごとに合成サンプル数を約 1,024 まで増やすと性能が向上し、収束は意味のある非自明なデータ拡張を示す。
• 事前学習済みのバックボーン（ImageNet 特徴）を使用すると結果がさらに向上し、Δ-encoder はいくつかのデータセットでベースラインを顕著に上回る。