[論文レビュー] Backward-Compatible Prediction Updates: A Probabilistic Approach

Frederik Träuble, Julius von Kügelgen+4 more|arXiv (Cornell University)|Jul 2, 2021

Machine Learning and Data Classification参考文献 47被引用数 10

ひとこと要約

この論文は、機械学習システムにおける後方互換性のある予測更新のための確率的でモデルに依存しないフレームワークを提案する。新しいモデルの予測は、有益で安全な場合にのみ選択的に再評価・更新される。事後分布の不確実性推定を維持し、エントロピーに基づくサンプリングを用いることで、負のフリップを最小限に抑えつつ、厳密な計算リソース制約下でも精度を向上させる。CIFAR-10、ImageNet、ObjectNetの各ベンチマークで、他の手法を上回る性能を発揮した。

ABSTRACT

When machine learning systems meet real world applications, accuracy is only one of several requirements. In this paper, we assay a complementary perspective originating from the increasing availability of pre-trained and regularly improving state-of-the-art models. While new improved models develop at a fast pace, downstream tasks vary more slowly or stay constant. Assume that we have a large unlabelled data set for which we want to maintain accurate predictions. Whenever a new and presumably better ML models becomes available, we encounter two problems: (i) given a limited budget, which data points should be re-evaluated using the new model?; and (ii) if the new predictions differ from the current ones, should we update? Problem (i) is about compute cost, which matters for very large data sets and models. Problem (ii) is about maintaining consistency of the predictions, which can be highly relevant for downstream applications; our demand is to avoid negative flips, i.e., changing correct to incorrect predictions. In this paper, we formalize the Prediction Update Problem and present an efficient probabilistic approach as answer to the above questions. In extensive experiments on standard classification benchmark data sets, we show that our method outperforms alternative strategies along key metrics for backward-compatible prediction updates.

研究の動機と目的

• 新しい高性能な事前学習済みモデルが利用可能になった際、大規模かつラベルなしのデータセットにおいて、効率的かつ安全に予測を更新する課題に対処すること。
• 予測更新問題を、精度の向上、後方互換性（負のフリップの回避）、計算効率の三つがトレードオフとなる問題として形式化すること。
• 真のラベルに関する不確実性推定を維持し、選択的な再評価と更新意思決定を導く、モデルに依存しない確率的手法を開発すること。
• 予測更新が全体の精度を向上させつつ、以前に正しかった予測を損なわないように保証すること。特に、信頼性と一貫性が重要な実世界のシステムにおいて重要である。
• 提案手法が、多様なベンチマークデータセットにおいて、精度、後方互換性、低コストの三つの望ましい特性を同時に達成できることを示すこと。

提案手法

• 複数のモデルが時間経過とともに生成する予測に基づいてベイジアン信念更新を用いて、真のラベルに関する事後分布を維持する。
• 事後分布からのラベルエントロピーを、再評価の優先順位を付ける基準として用い、計算コストを最小限に抑える。
• 非対称なコストを考慮した意思決定ルールにより、予測更新を制御する。負のフリップ（正しく→誤り）は、正のフリップ（誤り→正しく）よりも強くペナルティが課される。
• ハードラベルとソフトラベルの両方の入力をサポートし、ラプラススムージングを用いて完全な誤分類行列を推定することで、不確実性のキャリブレーションを向上させる。
• 微調整や再トレーニングを一切行わず、事前学習済みモデルの出力のみに依存して、予測を段階的に統合する。
• Replace、マジョリティボイス、信頼度しきい値法（CR）といった、精度と安全性のバランスを取る更新戦略を評価する。

実験結果

リサーチクエスチョン

• RQ1 新しいモデルがリリースされた際、限られた計算リソースの中で、どのデータポイントを再評価するかを効率的に選択する方法は何か？
• RQ2 新しいモデルが現在の予測と食い違う場合、特に新たな誤りを導入しないように、更新を決定するための基準は何か？
• RQ3 確率的でモデルに依存しないアプローチが、同時に精度の向上、負のフリップの低減、計算コストの最小化を達成できるか？
• RQ4 事後信念伝搬による不確実性推定は、ヒューリスティックな戦略と比較して、選択および更新のパフォーマンスにどのように影響を与えるか？
• RQ5 この手法は、異なるデータセットやモデルの更新頻度にわたって、どの程度一般化可能か？

主な発見

• CIFAR-10では、30%のリソース予算下で99.68%のトップ-1精度を達成し、負のフリップは0.08%にとどまった。これは、Replace法（1.45%の負のフリップ）やマジョリティボイス法（1.0%の負のフリップ）を上回った。
• ImageNetでは、10%のリソース予算下で99.9%のトップ-1精度を達成し、負のフリップは0.05%にとどまり、ベースライン手法と比較して誤りの導入を顕著に低減した。
• ObjectNetでは、10%のリソース予算下で99.94%の精度を維持し、負のフリップは0.03%にとどまり、分布シフトに強く、高い安全性を示した。
• CR-10戦略（信頼度しきい値10%）は、ImageNetで負のフリップを0.03%、ObjectNetで0.01%まで低減し、ほぼ最良の精度を維持した。
• 全再評価と比較して、計算コストを最大で10倍まで削減（例：215.6対2453.8回の推論呼び出し）したが、精度の損失は最小限に抑えられた。
• 完全な誤分類行列とラプラススムージングを用いたソフトラベル推定は、不確実性のキャリブレーションを向上させ、対角成分のみの推定よりも優れた選択および更新意思決定を実現した。