[論文レビュー] Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration

Feng Nie, Meixi Chen+2 more|arXiv (Cornell University)|Dec 5, 2022

Topic Modeling被引用数 9

ひとこと要約

本論文は、キャッシュされたサポートインスタンス表現のk個の近傍を用いて動的に予測を取得・補正することで、事前学習言語モデルにおける少数ショットin-context learningの性能を向上させる最近傍検索キャリブレーションフレームワークを提案する。この手法は、適応的近傍選択と特徴正則化を通じてプロンプト設計への感受性を低減することで、顕著な性能向上を達成し、単一文タスクにおいて平均12.8%の正確性向上を達成するとともに、センチメント分析において微調整ベースの最先端手法と同等の性能を達成する。

ABSTRACT

Pre-trained language models (PLMs) have exhibited remarkable few-shot learning capabilities when provided a few examples in a natural language prompt as demonstrations of test instances, i.e., in-context learning. However, the performance of in-context learning is susceptible to the choice of prompt format, training examples and the ordering of the training examples. In this paper, we propose a novel nearest-neighbor calibration framework for in-context learning to ease this issue. It is inspired by a phenomenon that the in-context learning paradigm produces incorrect labels when inferring training instances, which provides a useful supervised signal to calibrate predictions. Thus, our method directly augments the predictions with a $k$-nearest-neighbor ($k$NN) classifier over a datastore of cached few-shot instance representations obtained by PLMs and their corresponding labels. Then adaptive neighbor selection and feature regularization modules are introduced to make full use of a few support instances to reduce the $k$NN retrieval noise. Experiments on various few-shot text classification tasks demonstrate that our method significantly improves in-context learning, while even achieving comparable performance with state-of-the-art tuning-based approaches in some sentiment analysis tasks.

研究の動機と目的

• プロンプトテンプレート、例の順序、語彙選択へのin-context learningの高い感受性を緩和すること。
• サポートインスタンスにおけるin-context learning予測の不一致を、キャリブレーションのための指導信号として活用すること。
• 微調整を必要とせず、インスタンスベースの検索でPLMの予測を強化することで、少数ショットテキスト分類の性能を向上させること。
• 局所的な表現類似度に基づく動的近傍選択と特徴正則化を通じて、k-NN検索のノイズを低減すること。
• 少数ショット設定におけるin-context learningとパrameter微調整ベース手法との性能格差を埋めること。

提案手法

• 本手法は、キャッシュされた少数ショットサポートインスタンスのPLM表現とそのラベルを格納するデータストア上に、k個の最近傍（k-NN）分類器を適用することで、in-context learningの予測を補強する。
• 類似した表現を持つが異なるラベルを持つインスタンスを分離するための軽量な特徴正則化モジュールを用いることで、検索ノイズを低減する。
• 局所的な表現類似度に基づいて、各入力に対して最適な近傍数を動的に決定する近傍選択モジュールを採用する。
• k-NN分類器は、元のPLM予測分布を精緻化するために、最も類似した少数ショット例を検索する。
• フレームワークはBERTやGPT風のPLMの上に構築され、インスタンス表現として最終隠れ層出力を用いる。
• 本手法はエンドツーエンド微分可能であり、ベースPLMのパラメータ更新を一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 in-context learningにおけるサポートインスタンスの予測の不一致を、モデルキャリブレーションのための指導信号として活用できるか？
• RQ2 少数ショットサポートインスタンスのk-NN検索は、in-context learningのロバスト性と正確性をどのように向上させるか？
• RQ3 検索補強アプローチは、少数ショットテキスト分類において微調整ベース手法に匹敵または上回る性能を達成できるか？
• RQ4 適応的近傍選択と特徴正則化は、少数ショット設定におけるk-NN検索ノイズをどの程度低減できるか？
• RQ5 提案手法は、プロンプト設計の選択による性能のばらつきを低減するか？

主な発見

• 提案されたk-NNキャリブレーション手法は、単一文テキスト分類タスクにおいて、標準的なin-context learningに比べて平均12.8%の正確性向上を達成した。
• SST-2データセットでは、in-context learning（ICL）の正確性81.2%から、KNN-C-ICLに改善して88.3%に上昇し、最悪ケースでも1.8%の向上を達成した。
• SST-2やSST-5などのセンチメント分析タスクにおいて、微調整ベースの最先端手法と同等の性能を達成した。
• 異なるプロンプト設定における性能の標準偏差が低減され、プロンプト設計への感受性が低下していることが示された。
• 特徴正則化モジュールは、類似表現だが異なるラベルを持つケースにおいて、特に検索ノイズを低減した。
• 適応的近傍選択機構は、入力類似度に応じて近傍数を動的に調整することで、ロバスト性を向上させた。