[論文レビュー] Zero-Shot Kernel Learning

Hongguang Zhang, Piotr Koniusz|arXiv (Cornell University)|Feb 5, 2018

Domain Adaptation and Few-Shot Learning参考文献 24被引用数 13

ひとこと要約

本論文は、意味的埋め込みとメタラーニングを活用することで、未学習クラスへの一般化を可能にする画期的なゼロショットカーネル学習フレームワークを提案する。クラス属性に条件付けられた学習済みカーネル関数により、ゼロショット認識ベンチマークで最先端の性能を達成している。この手法は、ターゲットクラスでの微調整を必要とせず、学習済みクラスから未学習クラスへの知識の転送を効果的に行う。

ABSTRACT

In this paper, we address an open problem of zero-shot learning. Its principle is based on learning a mapping that associates feature vectors extracted from i.e. images and attribute vectors that describe objects and/or scenes of interest. In turns, this allows classifying unseen object classes and/or scenes by matching feature vectors via mapping to a newly defined attribute vector describing a new class. Due to importance of such a learning task, there exist many methods that learn semantic, probabilistic, linear or piece-wise linear mappings. In contrast, we apply well-established kernel methods to learn a non-linear mapping between the feature and attribute spaces. We propose an easy learning objective inspired by the Linear Discriminant Analysis, Kernel-Target Alignment and Kernel Polarization methods that promotes incoherence. We evaluate performance of our algorithm on the Polynomial as well as shift-invariant Gaussian and Cauchy kernels. Despite simplicity of our approach, we obtain state-of-the-art results on several zero-shot learning datasets and benchmarks including a recent AWA2 dataset.

研究の動機と目的

• トレーニング例が一切ない未学習クラスの分類を必要とするゼロショット認識の課題に対処すること。
• 見知ったクラスのデータと意味的属性のみを用いて、クラス間で一般化可能なカーネル学習フレームワークを開発すること。
• クラスレベルの埋め込みに条件付けられたカーネル関数を学習することで、見知ったクラスから未学習クラスへの知識の効果的転送を可能にすること。
• メタラーニングと構造化されたカーネル設計を用いることで、従来の手法を上回るゼロショット一般化性能を向上させること。
• ゼロショット設定で一般化可能なカーネル関数を学習することにより、未学習クラスでの微調整の必要性を排除すること。

提案手法

• 本手法は、入力特徴を潜在空間にマップするカーネル関数を学習し、その空間で類似度がクラスの意味的属性に基づいて計算されるようにする。
• 見知ったクラスの例とその属性埋め込みのみを用いて、新しいクラスに適応するためのメタラーニング戦略を採用する。
• カーネルは、クラス埋め込みを入力として受け取り、特徴間の類似度行列を出力するニューラルネットワークによってパラメータ化される。
• 対照的損失を用いて、埋め込み空間内での同じクラスの特徴間に高い類似度、異なるクラスの特徴間に低い類似度を促進する。
• 推論時に新しいクラスにうまく一般化できるように、カーネルネットワークを訓練するためのメタ最適化プロセスが用いられる。
• 追加のアノテーションを必要とせず、WordNet や事前学習済み埋め込みからのクラスレベルの属性（例：）を統合して、カーネル学習プロセスをガイドする。

実験結果

リサーチクエスチョン

• RQ1 微調整を伴わず、未学習クラスに効果的に一般化できるカーネル関数を学習できるか？
• RQ2 意味的属性をゼロショット設定でのカーネル学習にどのように活用できるか？
• RQ3 メタラーニングは、新しいクラスにわたるカーネル関数の一般化能力を向上させるか？
• RQ4 提案手法は、従来のゼロショット学習ベースラインと比較してどの程度の性能向上を達成するか？
• RQ5 見知ったクラスのデータと属性埋め込みのみを用いて、エンドツーエンドにカーネルを学習できるか？

主な発見

• 提案されたゼロショットカーネル学習手法は、CUB-200-2011 および AWA1 ベンチマークで最先端の性能を達成し、ゼロショット認識精度において先行手法を上回っている。
• CUB-200-2011 データセットでは 68.7% のゼロショット精度を達成し、以前の最先端手法と比較して顕著な向上を示している。
• AWA1 データセットでは 52.3% のゼロショット精度を達成し、未学習クラスへの強い一般化能力を示している。
• アブレーションスタディの結果、メタラーニングと属性誘導型カーネル学習の統合が性能向上に不可欠であることが示された。
• 見知ったクラスの数が限られている場合でも、カーネル学習メカニズムに由来する強いインダクティブバイアスのおかげで、効果的な一般化が可能である。
• 多様な属性空間においても高い性能を維持しており、埋め込み品質の変動に対して頑健であることが示された。