[論文レビュー] Predicting on the Edge: Identifying Where a Larger Model Does Better

Taman Narayan, Heinrich Jiang+2 more|arXiv (Cornell University)|Feb 15, 2022

Advanced Data Storage Technologies被引用数 4

ひとこと要約

本稿では、小さなモデルの予測不確実性を用いて、大きなモデルが改善する可能性がある例を特定し、必要に応じて大きなモデルに委ねるスイッチャー機構を提案する。主な発見は、大きなモデルが最も改善するのは、小さなモデルが最も不確実な例であり、スイッチャー・モデルは大きなモデルを単独で使用するのと比較して、より高い性能と効率を達成できることである。

ABSTRACT

Much effort has been devoted to making large and more accurate models, but relatively little has been put into understanding which examples are benefiting from the added complexity. In this paper, we demonstrate and analyze the surprisingly tight link between a model's predictive uncertainty on individual examples and the likelihood that larger models will improve prediction on them. Through extensive numerical studies on the T5 encoder-decoder architecture, we show that large models have the largest improvement on examples where the small model is most uncertain. On more certain examples, even those where the small model is not particularly accurate, large models are often unable to improve at all, and can even perform worse than the smaller model. Based on these findings, we show that a switcher model which defers examples to a larger model when a small model is uncertain can achieve striking improvements in performance and resource usage. We also explore committee-based uncertainty metrics that can be more effective but less practical.

研究の動機と目的

• 個々の例において、大きなモデルが小さなモデルをどのように上回るか、およびその理由を理解すること。
• ラベル付きデータを必要とせずに、大きなモデルが小さなモデルを上回る可能性がある例を特定する実用的な手法を開発すること。
• 不確実性とモデル間の合意の欠如が、小さなモデルと大きなモデルの組み合わせを用いた効率的で適応的な推論をどのように導くかを調査すること。
• 委員会ベースの不確実性推定とモデル再訓練時の変動（churn）が、個々のモデルの不確実性を上回るか、大きなモデルの性能向上を予測するのに優れているかどうかを評価すること。

提案手法

• 小さなモデルを訓練し、その予測不確実性（例：ソフトマックス出力のエントロピー）を、大きなモデルに改善が見込まれる例を特定する代理指標として用いる。
• 小さなモデルの不確実性がしきい値を超えた場合に限り、予測を大きなモデルに委ねるスイッチャー・モデルを実装する。
• 複数回再訓練した小さなモデル間の例ごとの予測の不一致（churn）を、モデルの合意度と改善の可能性を評価する代替の不確実性指標として用いる。
• 個々のモデルの不確実性、委員会不確実性（複数の小さなモデルの不確実性の平均値）、およびchurn（再訓練間での予測分散）が、大きなモデルの性能向上を予測する有効性を比較する。
• 複数のデータセットおよびモデルペアにおいて、スイッチャー・モデルの性能と計算効率を、すべての例に対して大きなモデルを単独で使用した場合と比較評価する。
• T5エンコーダ・デコーダアーキテクチャを用いて、多様なNLPタスクで不確実性、モデル間の不一致、および性能向上の関係を分析する。

実験結果

リサーチクエスチョン

• RQ1 大きなモデルが小さなモデルを最も大きく上回るのは、どの例においてか？
• RQ2 小さなモデルの不確実性は、大きなモデルがそれを上回る可能性がある場所を信頼性高く予測できるか？
• RQ3 小さなモデルの不確実性に基づいて大きなモデルに委ねるスイッチャー・モデルは、いつ大きなモデル単体よりも優れるか？
• RQ4 再訓練した小さなモデル間の不一致（churn）は、個々の不確実性と比較して、大きなモデルの改善を予測するのにどれほど優れているか？
• RQ5 なぜ、小さなモデルが非常に確信している例において、大きなモデルが性能を発揮しないことがあるのか？

主な発見

• 大きなモデルは、小さなモデルが最も不確実な例で最も大きな性能向上を示すが、小さなモデルが非常に自信を持っている例では、ほとんど向上しないか、むしろ小さなモデルを下回ることさえある。
• 大きなモデルが改善しない、あるいは逆に性能を下回る例は、特に小さなモデルが自信を持っている例の大部分を占めている。
• 小さなモデルが不確実な場合にのみ大きなモデルに委ねるスイッチャー・モデルは、顕著な計算コストの削減を実現でき、特に2つのモデルの性能が互いに近くても、大きなモデル単体よりも優れた性能を達成できる。
• 例ごとの再訓練によるchurn（複数回の小さなモデル再訓練における予測の不一致）は、個々のモデルの不確実性や委員会不確実性よりも、大きなモデルの改善を予測する上でより強い指標である。
• 委員会ベースの不確実性推定器は理論的には優れているが、実際には、大きなモデルにとってすでに容易な例を特定してしまう傾向があるため、スイッチャーが大きなモデル単体を上回る能力を制限する。
• 小さなモデルが不確実である例が、大きなモデルにとって「簡単」であるという直感に反する結果は、不確実性が例の本質的な難易度ではなく、モデルの能力不足に起因する場合があるため生じる。