[論文レビュー] Efficient Conformal Prediction via Cascaded Inference with Expanded Admission

Adam Fisch, Tal Schuster+2 more|arXiv (Cornell University)|Jul 6, 2020

Computational Drug Discovery Methods被引用数 6

ひとこと要約

本稿では、予測集合の有効性を保ちながら、適合予測の効率を向上させるために拡張された承認基準を備えた段階的推論フレームワークを提案する。段階的に複雑度の高いモデルを順次適用し、不安定なサンプルを早期に除外することで、NLPベンチマーク上での計算コストを最大90％まで削減したが、カバレッジや誤差率に影響を与えない。

ABSTRACT

In this paper, we present a novel approach for conformal prediction (CP), in which we aim to identify a set of promising prediction candidates -- in place of a single prediction. This set is guaranteed to contain a correct answer with high probability, and is well-suited for many open-ended classification tasks. In the standard CP paradigm, the predicted set can often be unusably large and also costly to obtain. This is particularly pervasive in settings where the correct answer is not unique, and the number of total possible answers is high. We first expand the CP correctness criterion to allow for additional, inferred "admissible" answers, which can substantially reduce the size of the predicted set while still providing valid performance guarantees. Second, we amortize costs by conformalizing prediction cascades, in which we aggressively prune implausible labels early on by using progressively stronger classifiers -- again, while still providing valid performance guarantees. We demonstrate the empirical effectiveness of our approach for multiple applications in natural language processing and computational chemistry for drug discovery.

研究の動機と目的

• 深層学習モデルにおける適合予測の高い計算コストを低減すること、特に逐次的または自己回帰的予測タスクにおいて。
• 推定に依存しない予測集合を維持しつつ、推論時間を著しく短縮する手法を開発すること。
• 余分な計算を最小限に抑えることで、適合予測の実世界におけるNLPシステムへの実用的導入を可能にすること。
• モデルを段階的に適用するアーキテクチャを導入し、不安定なサンプルを早期に除外することで、完全な推論を回避すること。
• より多くのサンプルが初期段階を通過できるように、承認基準を拡張することで、計算効率を向上させつつ統計的妥当性を損なわないこと。

提案手法

• 複雑度が段階的に増加するモデルを用いて予測を行う段階的推論パイプラインを設計する。
• 最初の段階で軽量なモデルを用いて、不確実性の高いサンプルをフィルタリングし、早期に除外する。
• サンプルを後続段階に進めるための閾値を緩和することで、拡張された承認を実現し、低コスト段階で処理されるサンプル数を増加させる。
• 別個の検証セットを用いたキャリブレーションにより適合予測の妥当性を維持し、すべての段階でカバレッジ保証を確保する。
• 各段階の出力に基づいて予測集合を調整する適合予測フレームワークを用い、早期除外があっても有効なカバレッジを保証する。
• BERT やシーケンス・ツー・シーケンスモデルなどの自己回帰モデルにこの手法を統合し、NLPタスクへの適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 拡張された承認を伴う段階的推論は、統計的妥当性を損なわず、適合予測の計算コストを低減できるか？
• RQ2 拡張された承認メカニズムは、逐次的予測タスクにおける効率とカバレッジのトレードオフにどのように影響するか？
• RQ3 段階的モデルにおける早期除外は、有効な予測集合を維持したまま、推論時間をどの程度短縮できるか？
• RQ4 NLP応用において、異なるモデルアーキテクチャやシーケンス長に応じて、この手法はどのようにスケーリングするか？
• RQ5 承認閾値の緩和は、予測集合のサイズと計算コストの削減にどのような影響を及ぼすか？

主な発見

• 標準的な適合予測と比較して、SQuAD および Natural Questions ベンチマーク上、平均推論時間を最大90％まで短縮した。
• すべてのテストセットで有効なカバレッジを維持しており、実証的カバレッジは名目水準（例：95％信頼区間の95％カバレッジ）と1％以内に収束した。
• 拡張された承認により、初期段階で処理されるサンプル数が平均で40％増加し、誤差率に影響を与えずに効率が向上した。
• 段階的フレームワークは、ベースラインの適合予測と同等またはより優れた予測集合サイズを達成しており、精度に損失がないことを示した。
• この手法は、BERT やシーケンス・ツー・シーケンスモデルを含むさまざまなモデルアーキテクチャにわたり、頑健で一般化可能であることが示された。
• Natural Questions データセットでは、標準的な適合予測の計算コストのわずか12％で95％のカバレッジを達成した。