[論文レビュー] Few-shot Learning as Cluster-induced Voronoi Diagrams: A Geometric Approach

Chunwei Ma, Ziyun Huang+2 more|arXiv (Cornell University)|Feb 5, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、特徴空間におけるクラスターポイントおよびクラスターランダム同士の影響をモデル化することで、意思決定境界の学習を向上させる、Cluster-induced Voronoi Diagrams (CIVD) を活用した幾何的フレームワークである DeepVoro を提案する。ミニ-ImageNet、CUB、tiered-ImageNet において、従来手法より 2%–5% の精度向上を達成しており、低データ環境下での過学習を軽減し、迅速かつ頑健な幾何的アンサンブルを可能にしている。

ABSTRACT

Few-shot learning (FSL) is the process of rapid generalization from abundant base samples to inadequate novel samples. Despite extensive research in recent years, FSL is still not yet able to generate satisfactory solutions for a wide range of real-world applications. To confront this challenge, we study the FSL problem from a geometric point of view in this paper. One observation is that the widely embraced ProtoNet model is essentially a Voronoi Diagram (VD) in the feature space. We retrofit it by making use of a recent advance in computational geometry called Cluster-induced Voronoi Diagram (CIVD). Starting from the simplest nearest neighbor model, CIVD gradually incorporates cluster-to-point and then cluster-to-cluster relationships for space subdivision, which is used to improve the accuracy and robustness at multiple stages of FSL. Specifically, we use CIVD (1) to integrate parametric and nonparametric few-shot classifiers; (2) to combine feature representation and surrogate representation; (3) and to leverage feature-level, transformation-level, and geometry-level heterogeneities for a better ensemble. Our CIVD-based workflow enables us to achieve new state-of-the-art results on mini-ImageNet, CUB, and tiered-ImagenNet datasets, with ${\sim}2\%{-}5\%$ improvements upon the next best. To summarize, CIVD provides a mathematically elegant and geometrically interpretable framework that compensates for extreme data insufficiency, prevents overfitting, and allows for fast geometric ensemble for thousands of individual VD. These together make FSL stronger.

研究の動機と目的

• 点ベースのボロノイ図を越えた複雑な意思決定境界をモデル化する幾何的フレームワークを導入することで、少数-shot 学習におけるデータ不足の課題に取り組む。
• 従来の手法（例：ProtoNet）が点同士の距離と線形バイセクタに依存するのに対し、クラスターレベルの関係性を組み込むことで、より細分化された意思決定境界のモデル化を実現する。
• 特徴表現、スラッグ表現、および複数の異種性（特徴、変換、幾何）を統合した一貫した幾何的アンサンブルにより、モデルの頑健性と一般化性能を向上させる。
• 多様な少数-shot ベンチマークで最先端の性能を達成するとともに、計算効率と解釈可能性を維持する。

提案手法

• 従来のボロノイ図を点同士の影響から、クラスターポイントおよびクラスターランダム同士の影響に基づく空間分割に一般化した、Cluster-induced Voronoi Diagrams (CIVD) をコアな幾何的構造として採用する。
• CIVD をマルチステージの少数-shot 学習パイプラインに統合し、パrametric およびノンパラメトリック分類器を用いて意思決定境界をモデル化することで、精度と頑健性を向上させる。
• CIVD を活用して、特徴レベル、変換レベル、幾何レベルの異種性を統合した一括アンサンブルフレームワークを構築し、迅速かつ効果的なモデル結合を実現する。
• $(1+\epsilon)$-近似を保証する微分可能 CIVD 構築プロセスを採用し、ほぼ線形サイズの図を実現することで、精度と効率のバランスを図る。
• CIVD を予測に用いるエンドツーエンドのモデルである DeepVoro および DeepVoro++ を設計し、最適な性能を得るためにハイパーパramータ $\beta$, $R$, $\lambda$, および $b$ を調整する。
• CIVD をインダクティブおよびトランスダクティブな設定に適用し、ドメインシフト下でも安定性を示し、幾何的分散分析により外れ値を含むサポートセットに対しても耐性を示す。

実験結果

リサーチクエスチョン

• RQ1 クラスターベースのボロノイ図に基づく幾何的フレームワークは、点ベースのプロトタイプを越えて、少数-shot 分類における意思決定境界の学習を改善できるか？
• RQ2 クラスターポイントおよびクラスターランダム同士の影響関係を組み込むことで、低ショット状況下での頑健性と精度がどのように向上するか？
• RQ3 CIVD を用いたモデルは、少数-shot 学習におけるデータ不足の問題をどの程度軽減できるか？
• RQ4 ドメインシフトや外れ値を含むサポートセットの存在下でも、本手法はどの程度の性能を示すか？
• RQ5 CIVD は、多様な特徴抽出器やメタトレーニングスキームを統合した効果的な幾何的アンサンブルを可能にするか？

主な発見

• 回転損失を用いた条件下で、DeepVoro は 1-shot のミニ-ImageNet で 68.80%、5-shot で 85.70% の精度を達成し、DC (66.43% と 82.61%) や S2M2_R (58.33% と 79.26%) を上回った。
• 多様体ミックスアップ訓練を適用した場合、DeepVoro は 1-shot で 65.00%、5-shot で 83.19% の精度を達成し、DC (62.61% と 78.62%) や S2M2_R (48.11% と 72.74%) を上回った。
• クロスドメイン少数-shot 学習において、DeepVoro は CUB → ミニ-ImageNet の 1-shot で 6.68%、5-shot で 6.51% の向上を示し、強力なドメイン一般化性能を示した。
• DeepVoro++ は、回転損失と多様体ミックスアップの間の性能差を、1-shot 時に 10.22% から 3.98% に縮小し、多様な事前学習スキームをより効果的に活用できることを示した。
• 外れ値に対する耐性が顕著に向上した：幾何的分散が高かった（外れ値の存在を示唆）エピソードでは、ベースライン手法は顕著に精度が低下したが、DeepVoro は性能を維持した。
• CIVD を用いたモデルは、すべてのベンチマークで最先端の結果を達成し、次に優れた手法より一貫して 2%–5% の精度向上を達成した。これにより、幾何的フレームワークの有効性が裏付けられた。