[論文レビュー] Improving Few-Shot Visual Classification with Unlabelled Examples

Peyman Bateni, Jarred Barber+2 more|arXiv (Cornell University)|May 4, 2021

Domain Adaptation and Few-Shot Learning被引用数 3

ひとこと要約

本論文は、正則化されたマハラノビス距離に基づくソフトk-平均クラスタリングと変更されたニューラル特徴抽出器を組み合わせることで、推論時に未ラベル付き例を活用し、少サンプル画像分類を向上させる、伝達的（transductive）なメタラーニング手法を提案する。この手法は、推論時に未ラベルデータを効果的に活用することで、Meta-Dataset、mini-ImageNet、tiered-ImageNetベンチマークで最先端の性能を達成する。

ABSTRACT

We propose a transductive meta-learning method that uses unlabelled instances to improve few-shot image classification performance. Our approach combines a regularized Mahalanobis-distance-based soft k-means clustering procedure with a modified state of the art neural adaptive feature extractor to achieve improved test-time classification accuracy using unlabelled data. We evaluate our method on transductive few-shot learning tasks, in which the goal is to jointly predict labels for query (test) examples given a set of support (training) examples. We achieve new state of the art performance on the Meta-Dataset and the mini-ImageNet and tiered-ImageNet benchmarks.

研究の動機と目的

• 推論時に未ラベル付き例を統合することで、少サンプル視覚分類の精度を向上させること。
• 少サンプル学習の状況におけるラベル付きデータの不足という課題に対処すること。
• サポート画像と未ラベル付き例の両方を用いて、クエリ画像の予測を統合的に最適化する手法を開発すること。
• mini-ImageNet や tiered-ImageNet などの標準的な少サンプル学習ベンチマークで最先端の性能を達成すること。
• クラスタリングと特徴適応を、追加のトレーニングを必要とせずに一般化性能を向上させる形で統合すること。

提案手法

• 本手法は、テスト時における未ラベル付き例のグループ化に、正則化されたマハラノビス距離に基づくソフトk-平均クラスタリング手順を採用する。
• 最先端のニューラル特徴抽出器を変更し、クラスタリングと分類の両方を向上させる表現を適応的に学習できるようにする。
• 過学習を防ぎ、少サンプルタスクにおける一般化性能を向上させるために、クラスタリングプロセスを正則化する。
• 本フレームワークは伝達的設定で動作し、クエリ画像の予測が未ラベル付きデータと同時に生成される。
• 最終的な分類は、洗練された特徴とクラスタ割り当てを用いて実施され、予測精度が向上する。
• クラスタリングと特徴適応が、テスト時における統合最適化プロセスで統合される。

実験結果

リサーチクエスチョン

• RQ1 推論時に使用される未ラベル付き例は、少サンプル分類性能を向上させることができるか？
• RQ2 低データ環境における一般化性能を向上させるために、クラスタリングをどのように正則化できるか？
• RQ3 クラスタリングと適応的特徴学習を組み合わせた際の、少サンプルベンチマークへの影響は何か？
• RQ4 未ラベル付きデータのみを用いて、伝達的メソッドがインダクティブな少サンプル学習ベースラインを上回ることができるか？
• RQ5 標準的な少サンプルデータセットにおいて、本手法は既存の最先端手法と比較してどう異なるか？

主な発見

• 本手法は、Meta-Datasetベンチマークで最先端の性能を達成し、以前の手法を上回った。
• mini-ImageNetベンチマークでも、新たな最先端の結果を達成し、顕著な精度向上を示した。
• tiered-ImageNetベンチマークでも、最先端の性能を達成し、多様な少サンプルデータセットにわたる一般化能力を確認した。
• 正則化されたクラスタリングを通じて未ラベル付き例を統合することで、テスト時の分類精度に顕著な向上が見られた。
• 追加のトレーニングやモデルのファインチューニングを必要とせず、未ラベルデータを効果的に活用できた。
• ソフトk-平均クラスタリングにおけるマハラノビス距離の使用により、低ショット状況下でのクラスタリング品質と分類性能が向上した。