[論文レビュー] One-Way Prototypical Networks

Anna Kruspe|arXiv (Cornell University)|Jan 1, 2019

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 4

ひとこと要約

本論文は、少数ショット1クラス分類のための片方向プロトタイプネットワークを提案し、ミニバッチ正規化によるゼロ中心化の性質を活用して、ゼロを中心とする「ヌルクラス」を導入することで、負例の必要性を排除する。さらに、重心のみではなく平均と標準偏差を含む完全なガウス分布としてクラスプロトタイプをモデル化し、Omniglotで98%、不一致MNISTで80%の精度を達成した。2方向モデルと比較して、学習時間を半減した。

ABSTRACT

Few-shot models have become a popular topic of research in the past years. They offer the possibility to determine class belongings for unseen examples using just a handful of examples for each class. Such models are trained on a wide range of classes and their respective examples, learning a decision metric in the process. Types of few-shot models include matching networks and prototypical networks. We show a new way of training prototypical few-shot models for just a single class. These models have the ability to predict the likelihood of an unseen query belonging to a group of examples without any given counterexamples. The difficulty here lies in the fact that no relative distance to other classes can be calculated via softmax. We solve this problem by introducing a "null class" centered around zero, and enforcing centering with batch normalization. Trained on the commonly used Omniglot data set, we obtain a classification accuracy of .98 on the matched test set, and of .8 on unmatched MNIST data. On the more complex MiniImageNet data set, test accuracy is .8. In addition, we propose a novel Gaussian layer for distance calculation in a prototypical network, which takes the support examples' distribution rather than just their centroid into account. This extension shows promising results when a higher number of support examples is available.

研究の動機と目的

• 負例や反例が定義されにくいか収集が困難な少数ショット学習における1クラス分類の課題に対処すること。
• ゼロ中心の分布を持つ「ヌルクラス」を導入することで、負例や反例クラスの学習を必要としないようにすること。
• 潜在空間におけるクラスプロトタイプを重心だけでなく、平均と標準偏差を含む完全なガウス分布としてモデル化することで、少サンプル一般化性能を向上させること。
• 1エピソードあたり1つのクラスのみを処理する片方向設計を活用し、2つのクラスを処理するモデルと比較して、学習時間を半減させること。

提案手法

• 潜在空間に固定されたゼロ重心を持つ「ヌルクラス」を導入し、ミニバッチ正規化のゼロ中心化特性によって実現する。
• 負例を一切使用せず、正クラスのサポート例のみを用いて学習し、ヌルクラスを負の参照として交差エントロピー損失を適用する。
• クラスプロトタイプを重心のみではなく、多変量ガウス分布（平均と標準偏差）としてモデル化することで、不確実性と分布の広がりを捉える。
• サポート例の平均と分散の両方を考慮した距離を計算するために、プロトタイプネットワークにガウス層を導入する。
• 埋め込み層の後にバッチ正規化を適用し、ゼロ中心化を強制することで、ヌルクラス表現の安定化を図る。
• エピソードベースの少サンプル学習設定で学習し、サポートセットとクエリ例を用い、未観測クエリにおける分類精度を最適化する。

実験結果

リサーチクエスチョン

• RQ1 負例や反例クラスを必要としない片方向プロトタイプネットワークが、1クラス分類に有効に適用可能かどうか。
• RQ2 クラスプロトタイプを重心のみではなく、平均と標準偏差を含む完全なガウス分布としてモデル化することで、重心中心のモデルと比較して少サンプル一般化性能が向上するか。
• RQ3 1つの正クラスとヌルクラスからなる片方向学習設定が、2方向モデルと比較して精度と学習効率においてどのように差をつけるか。
• RQ4 十分なサポート例が利用可能な状況下で、ガウス層の導入が性能向上に顕著な効果をもたらすか。

主な発見

• 片方向プロトタイプネットワークは、一致するOmniglotテストセットで98%の精度、不一致MNISTデータで80%の精度を達成し、未観測ドメインへの強力な一般化性能を示した。
• より複雑なMiniImageNetデータセットでも、80%のテスト精度に達し、分布シフトに対して高いロバストネスを示した。
• 15個以上のサポート例が利用可能な場合、ガウス層拡張モデルは標準の重心ベースプロトタイプネットワークを上回り、不確実性のモデル化が向上したことが示された。
• 1エピソードあたり1つのクラスのサポート例のみを処理するため、2方向モデルと比較して学習時間が約50%短縮された。
• 学習中にヌル分布の標準偏差を調整可能にしたことで、バッチ正規化が単位分散を強制するにもかかわらず、性能が向上した。
• Omniglotにおいて、サポートセットが15例以上の場合、標準プロトタイプネットワークを上回る性能を示し、豊富なサポートデータがある場合のスケーラビリティの可能性を示唆した。