[論文レビュー] Detecting Errors and Estimating Accuracy on Unlabeled Data with Self-training Ensembles

Jiefeng Chen, Frederick Liu+4 more|arXiv (Cornell University)|Jun 29, 2021

Adversarial Robustness in Machine Learning被引用数 15

ひとこと要約

本稿では、反復的なモデルアンサンブルと疑似ラベル付けを用いて、ラベルなしのテストデータ上でモデルの正確性を共同で推定し、誤りを検出する自己学習アンサンブルフレームワークを提案する。この手法は、推定誤差を少なくとも70%削減し、iWildCamではF1スコアを4.7%向上させ、最先端の性能を達成した。

ABSTRACT

When a deep learning model is deployed in the wild, it can encounter test data drawn from distributions different from the training data distribution and suffer drop in performance. For safe deployment, it is essential to estimate the accuracy of the pre-trained model on the test data. However, the labels for the test inputs are usually not immediately available in practice, and obtaining them can be expensive. This observation leads to two challenging tasks: (1) unsupervised accuracy estimation, which aims to estimate the accuracy of a pre-trained classifier on a set of unlabeled test inputs; (2) error detection, which aims to identify mis-classified test inputs. In this paper, we propose a principled and practically effective framework that simultaneously addresses the two tasks. The proposed framework iteratively learns an ensemble of models to identify mis-classified data points and performs self-training to improve the ensemble with the identified points. Theoretical analysis demonstrates that our framework enjoys provable guarantees for both accuracy estimation and error detection under mild conditions readily satisfied by practical deep learning models. Along with the framework, we proposed and experimented with two instantiations and achieved state-of-the-art results on 59 tasks. For example, on iWildCam, one instantiation reduces the estimation error for unsupervised accuracy estimation by at least 70% and improves the F1 score for error detection by at least 4.7% compared to existing methods.

研究の動機と目的

• 教師付きラベルが入手できない状況において、ラベルなしのテストデータ上でのモデル正確性の推定と、誤分類されたサンプルの検出という課題に対処すること。
• 多様な分布からのラベル付きデータを必要とせずに、分布シフトに耐性を持つ手法を開発すること。
• アンサンブルの挙動に関する弱い、実用的な条件下で、正確性推定および誤り検出の両方について証明可能な保証を提供すること。
• 完全な再ラベル付けを伴わずに、高リスクの予測を特定することで、コスト効率の良いモデルデプロイメントを可能にすること。

提案手法

• フレームワークは、事前学習済みモデルとの不一致に基づいて、誤分類されたテストポイントを特定するモデルアンサンブルを用いる。
• 誤分類されたポイントに疑似ラベルを割り当て、アンサンブルを再訓練することで自己学習を実行し、検出性能を向上させる。
• ラベル付きデータに対する標準的な交差エントロピー損失と、疑似ラベル付きテストデータに対する変更された損失を組み合わせた重み付き損失を用いてアンサンブルを訓練する。
• 予測の信頼度を向上させ、誤り検出を改善するために、しきい値処理を組み込む。
• 多様で良好にキャリブレーションされたモデルを活用することで、事前学習済みモデルのキャリブレーションが不十分であっても、耐性を確保する。
• 理論的分析により、アンサンブルの挙動に関する弱い条件下で、正確な正確性推定への収束と、信頼性の高い誤り検出が保証されることを示した。

実験結果

リサーチクエスチョン

• RQ1 教師付きラベルが入手できない状況下で、自己学習アンサンブルフレームワークは、ラベルなしのテストデータ上で事前学習済みモデルの正確性を正確に推定できるか？
• RQ2 同様のフレームワークは、ラベルなし状況下でも個々の誤分類されたサンプルを効果的に検出できるか？
• RQ3 分布シフトや共変量シフトの下でも、このフレームワークは強固な性能を維持できるか？
• RQ4 現実的なディープラーニングの仮定に基づき、正確性推定および誤り検出の理論的保証は何か？
• RQ5 既存の手法（信頼度ベース推定、ドメイン不変モデル、プロキシリスク手法など）と比較して、本手法はどのように優れているか？

主な発見

• iWildCamでは、既存手法と比較して推定誤差を少なくとも70%削減した。
• iWildCamにおける誤り検出のF1スコアは、先行手法と比較して少なくとも4.7%向上した。
• 画像分類およびテキスト分類を含む59のタスクにわたり、最先端の性能を達成した。
• アブレーションスタディでは、しきい値処理が性能を低下させないことが示され、ハイパーパramータの選択に対して頑健であることがわかった。
• アンサンブルの正確性がベースモデルより低い場合（例：iWildCam）でも、モデルの多様性のおかげで本手法は依然として良好に動作した。
• アンサンブルチェックモデルを用いたプロキシリスクの変種と比較して、推定誤差が低く（0.023 vs. 0.081）、F1スコアが高かった（0.881 vs. 0.852）。