[論文レビュー] Adaptive Dimension Reduction and Variational Inference for Transductive Few-Shot Classification

Yuqing Hu, Stéphane Pateux+1 more|arXiv (Cornell University)|Sep 18, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、変分ベイジアン推論と確率的線形判別分析（PLDA）を用いた適応的次元削減を組み合わせた、新たな推論型少数-shot分類手法BAVARDAGEを提案する。不均衡な少数-shotベンチマークにおいて最大6%の精度向上を達成し、複数のデータセットで最先端性能を示し、不均衡な設定でも新たな結果を報告した。

ABSTRACT

Transductive Few-Shot learning has gained increased attention nowadays considering the cost of data annotations along with the increased accuracy provided by unlabelled samples in the domain of few shot. Especially in Few-Shot Classification (FSC), recent works explore the feature distributions aiming at maximizing likelihoods or posteriors with respect to the unknown parameters. Following this vein, and considering the parallel between FSC and clustering, we seek for better taking into account the uncertainty in estimation due to lack of data, as well as better statistical properties of the clusters associated with each class. Therefore in this paper we propose a new clustering method based on Variational Bayesian inference, further improved by Adaptive Dimension Reduction based on Probabilistic Linear Discriminant Analysis. Our proposed method significantly improves accuracy in the realistic unbalanced transductive setting on various Few-Shot benchmarks when applied to features used in previous studies, with a gain of up to $6\%$ in accuracy. In addition, when applied to balanced setting, we obtain very competitive results without making use of the class-balance artefact which is disputable for practical use cases. We also provide the performance of our method on a high performing pretrained backbone, with the reported results further surpassing the current state-of-the-art accuracy, suggesting the genericity of the proposed method.

研究の動機と目的

• 限られたラベル付きデータによる高い不確実性と劣った統計的性質に起因する少数-shot分類の課題に対処すること。
• ラベルなしサンプルにおけるクラス分布に顕著な差が生じる現実的で不均衡な推論型少数-shot学習設定での性能向上。
• 人工的なクラスバランス仮定に依存せず、異なるバックボーンやデータセットに一般化可能な手法の開発。
• 確率的モデリングと次元削減を統合することで、クラス固有の分布をよりよく捉えるクラスタリングのロバスト性の向上。

提案手法

• クラス判別的情報を保持しつつ特徴空間を縮小するため、確率的線形判別分析（PLDA）を用いて適応的次元削減を実行。
• 変分ベイジアン（VB）推論を用いてクラスタ割り当てと不確実性をモデリングし、クラス所属に関する柔軟な事後分布推定を可能にする。
• VB推論とPLDAを統合し、クラスタ構造と低次元表現を同時に最適化することで、推定の安定性を向上。
• VB-PLDAによる反復的精緻化の前段階として、柔らかくK-means（Soft-KMEANS）を用いてロバストな初期クラスタリングを提供。
• 事前学習されたバックボーン（例：WRN、ResNet-12）から抽出された特徴量に対してエンドツーエンドで適用可能であり、モデル間での転送性を実現。
• 結果の信頼性を高めるために、95%信頼区間を用いて精度を報告し、不確実性の定量化を実施。

実験結果

リサーチクエスチョン

• RQ1 適応的次元削減を組み合わせた変分ベイジアン推論は、不均衡な推論型少数-shot設定における分類精度を向上させ得るか？
• RQ2 本手法は、バランス型および不均衡型少数-shotベンチマークにおいて、標準的なクラスタリングベースライン（例：Soft-KMEANS）と比較してどのように性能を発揮するか？
• RQ3 本手法は、人工的なクラスバランス仮定に依存せず、異なるバックボーンアーキテクチャやデータセットに一般化可能か？
• RQ4 PLDAとVB推論の統合により、学習されたクラスタの不確実性はどの程度低減され、統計的性質はどのように改善されるか？

主な発見

• BAVARDAGEは、不均衡な推論型少数-shotベンチマークにおいて、Soft-KMEANSと比較して最大6%の精度向上を達成し、現実的設定での顕著な改善を示した。
• CUBデータセットでは、RN12*を用いた5-shot不均衡設定で93.50%の精度を達成し、以前の最先端結果を上回った。
• クラスバランスのアーティファクトに依存せず、バランス型設定でも競争力ある性能を示しており、ロバスト性と一般化能力を裏付けた。
• FC100およびCIFAR-FSでは、不均衡設定で新たな最先端結果を報告したが、これらは従来の研究では未検証の設定であった。
• WRN、ResNet-18、ResNet-12といった複数のバックボーンで高い性能を維持しており、強力な汎用性と転送性を示した。
• 1つのGPU上で10,000件の少数-shotタスクあたり平均1.72秒の推論時間を要し、実用的な効率性を有していた。