[論文レビュー] Generalization Properties of Retrieval-based Models

Soumya Basu, Ankit Singh Rawat+1 more|arXiv (Cornell University)|Oct 6, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

この論文は分類におけるリトリーブベースモデルの理論的分析を提供し、入力ごとに簡潔で低複雑性のモデルを訓練するために、リトリーブされた訓練例を用いるローカル経験的リスク最小化（ローカル ERM）フレームワークを提案する。局所的正則性仮定の下で、このようなモデルは最小限のパrametric容量で優れた一般化性能を達成でき、MobileNet-V3をわずか4.01Mパラメータで使用した場合、ImageNet上で標準モデルを上回る性能を発揮する。

ABSTRACT

Many modern high-performing machine learning models such as GPT-3 primarily rely on scaling up models, e.g., transformer networks. Simultaneously, a parallel line of work aims to improve the model performance by augmenting an input instance with other (labeled) instances during inference. Examples of such augmentations include task-specific prompts and similar examples retrieved from the training data by a nonparametric component. Remarkably, retrieval-based methods have enjoyed success on a wide range of problems, ranging from standard natural language processing and vision tasks to protein folding, as demonstrated by many recent efforts, including WebGPT and AlphaFold. Despite growing literature showcasing the promise of these models, the theoretical underpinning for such models remains underexplored. In this paper, we present a formal treatment of retrieval-based models to characterize their generalization ability. In particular, we focus on two classes of retrieval-based classification approaches: First, we analyze a local learning framework that employs an explicit local empirical risk minimization based on retrieved examples for each input instance. Interestingly, we show that breaking down the underlying learning task into local sub-tasks enables the model to employ a low complexity parametric component to ensure good overall accuracy. The second class of retrieval-based approaches we explore learns a global model using kernel methods to directly map an input instance and retrieved examples to a prediction, without explicitly solving a local learning task.

研究の動機と目的

• リトリーブベースモデルの理論的基盤を理解すること。これはパラメトリックおよびノンパラメトリック学習を組み合わせるが、形式的な分析が不足している。
• 類似した訓練例のリトリーブが分類タスクにおける一般化性能をどのように向上させるかを調査すること。
• リトリーブされた例を用いた局所学習が低複雑性モデルで強力な性能を発揮する条件を形式化すること。
• CIFAR-10 や ImageNet を含む多様なデータセットで、ローカル ERM をグローバルモデルおよび kNN ベースラインと比較すること。

提案手法

• ローカル ERM フレームワークを提案：各テスト入力に対して、近接する訓練例をリトリーブし、それらの例のみを用いて局所モデルを訓練する。
• 局所的正則性仮定の下で、モデルの複雑さと近傍サイズのバランスをとる有限標本一般化バウンドを導出する。
• カーネル法およびパラメトリックモデル（線形、MLP、多項式、RBF）を、リトリーブされたデータセット上の局所予測子として使用する。
• 入力空間または埋め込み空間における L2 距離を用いてリトリーブを行い、高次元データには教師なし特徴（例：ALIGN）を用いる。
• 大規模な設定において、小規模モデル（例：MobileNet-V3）をアダム最適化子で微調整することで、ローカル ERM を適用する。
• ImageNet、CIFAR-10、および合成データ上で、標準的な ERM、kNN、最先端（SoTA）モデルと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 リトリーブされた近傍のサイズは、ローカル ERM モデルの一般化性能にどのように影響するか？
• RQ2 リトリーブを用いた局所学習が、グローバルパラメトリック学習を上回る条件は何か？
• RQ3 リトリーブされた例のみで訓練された低複雑性パラメトリックモデルが、高精度を達成できるか？
• RQ4 グローバル表現（例：ALIGN）がローカル ERM のパフォーマンスを向上させる役割は何か？
• RQ5 リトリーブベース学習における近似誤差と一般化誤差のトレードオフはどのように現れるか？

主な発見

• ImageNet では、ローカル ERM を用いて訓練された小さな MobileNet-V3 モデル（4.01Mパラメータ）が、82.78％のトップ-1精度を達成した。これは、同じモデルをグローバルに訓練した場合の65.80％を著しく上回る。
• ローカル ERM アプローチは、大幅に小型化されたモデルサイズと計算コストで、SoTA の ViT-G/14 モデル（90.45％のトップ-1精度）と比較して競争力のある性能（82.78％）を達成した。
• CIFAR-10 では、性能が中間の近傍サイズでピークに達し、一般化誤差（小さな集合）と近似誤差（大きな集合）のトレードオフが確認された。
• グローバル表現（ALIGN埋め込み）を用いることで、単純な線形モデルが、生画像入力に直接訓練されたより複雑な MobileNet-V3 モデルを上回った。
• 有限標本一般化バウンドは、局所的正則性が、近傍が小さく代表的であれば、低複雑性モデルが良好に一般化できることを示している。
• 結果は、リトリーブベースモデルが最小限のパラメトリック容量で、暗黙的に局所学習を実行することで高パフォーマンスを達成できることを裏付けている。