[論文レビュー] Fine-Tuning Language Models via Epistemic Neural Networks

Ian Osband, Seyed Mohammad Asghari+4 more|arXiv (Cornell University)|Nov 3, 2022

Topic Modeling被引用数 4

ひとこと要約

本論文では、BERTのような大規模言語モデルにエピネット（epinet）と呼ばれる小さな補助ネットワークを追加することで、微調整中の情報量の多い訓練例を優先するためのエピステミック的不確実性を推定する手法を提案する。不確実性に基づくアクティブラーニングを用いることで、GLUEベンチマークでBERTの完全な性能を達成するのに、ラベル付き例を2倍少ない数で実現した一方で、標準的な微調整よりも最終的な精度も向上させた。

ABSTRACT

Language models often pre-train on large unsupervised text corpora, then fine-tune on additional task-specific data. However, typical fine-tuning schemes do not prioritize the examples that they tune on. We show that, if you can prioritize informative training data, you can achieve better performance while using fewer labels. To do this we augment a language model with an epinet: a small additional network that helps to estimate model uncertainty and forms an extit{epistemic neural network} (ENN). ENNs are neural networks that can know what they don't know. Using an epinet to prioritize uncertain data, we can fine-tune BERT on GLUE tasks to the same performance while using 2x less data than training without prioritization. We also investigate performance in synthetic neural network generative models designed to build understanding. In each setting, using an epinet outperforms heuristic active learning schemes.

研究の動機と目的

• 情報量の多い訓練例を優先することで、大規模言語モデルの微調整におけるデータ効率を向上させること。
• 標準的な微調整の限界に対処すること。標準的な微調整では、すべての訓練データを同等に扱い、不確実性を考慮しない。
• 学習可能なエピネットを用いてエピステミック的不確実性を推定することで、言語モデルが「自分が知らないことを知っている」ようにすること。
• エピステミック的優先順位付けが、エントロピーまたはマージンベースの選択といったヒューリスティックなアクティブラーニング手法を上回ることを示すこと。
• エピネットを拡張したモデルが、ベースラインの微調整よりも優れた最終的な性能と低いデータ要件を達成できることを示すこと。

提案手法

• エピネットは、ベースとなる言語モデルとは別に学習され、エピステミック的不確実性を推定する。これは、アレアトリック的不確実性とは区別される。
• エピネットは、分散またはBALD（Bayesian Active Learning by Disagreement）を不確実性指標として用い、不確実で情報量の多い例を優先する。
• 微調整の過程で、モデルはエピステミック的不確実性に基づいて訓練データを選択し、モデルが最も自信のない例に注目する。
• エピネットは、モンテカルロドロップアウトとモデルアンサンブルの組み合わせを用いて、不確実性推定を向上させる。
• この手法は、GLUEベンチマークタスクにおけるBERTに適用され、合成ニューラルネットワーク生成モデル（Neural Testbed）でも検証された。
• 性能評価は、タスク間の幾何平均を用いて、ベースライン性能に達するまでに必要なラベル数（データ効率）を測定することで行われた。

実験結果

リサーチクエスチョン

• RQ1 エピネットによるエピステミック的不確実性推定は、大規模言語モデルの微調整におけるデータ効率を向上させることができるか？
• RQ2 エピステミック的不確実性に基づいて不確実な例を優先することで、ヒューリスティックなアクティブラーニング手法（例：エントロピー、マージンベース）よりも少ないラベル数でより良い性能が得られるか？
• RQ3 エピネットは、アンサンブルベースまたはドロップアウトベースの不確実性推定と比較して、データ効率と計算コストの点でどのように異なるか？
• RQ4 エピステミック的優先順位付けは、単なるサンプル効率の向上にとどまらず、最終的なモデル精度の向上にも寄与するか？
• RQ5 エピネットの利点は、不確実性推定に起因するのか、それとも単に追加のネットワーク容量に起因するのか？

主な発見

• GLUEベンチマークタスクにおいて、エピステミック的優先順位付けを用いたBERTの微調整は、標準的な微調整と同等の性能を、ラベル付き例を2倍少ない数で達成した。
• エピネットベースの手法は、少ないデータでもベースラインを上回る最終的なモデル精度を達成した。
• エピステミック的優先順位付けは、エントロピー法やマージンベース選択といったヒューリスティック手法を上回り、MNLIや他のタスクではそれらがベースライン性能に到達できなかった。
• エピネットを用いて均一にデータを選択した場合の性能は、エピステミック的優先順位付けに比べて著しく劣っており、その利点が単にアーキテクチャの追加によるものではなく、不確実性に基づく選択によるものであることを示している。
• アンサンブルおよびドロップアウトベースの不確実性推定もデータ効率を向上させるが、軽量なエピネットに比べて計算コストが高くなる。
• 分散とBALDの両方の不確実性指標の選択に差は最小限であり、両者とも類似した性能向上をもたらした。