[論文レビュー] Combining Human Predictions with Model Probabilities via Confusion Matrices and Calibration

Gavin Kerrigan, Padhraic Smyth+1 more|arXiv (Cornell University)|Sep 29, 2021

Machine Learning and Algorithms参考文献 8被引用数 7

ひとこと要約

本論文では、誤り行列とキャリブレーション技術を用いて、人間の分類ラベルとモデルの確率出力を組み合わせる新しい手法を提案する。この手法は、人間またはモデル単体よりも顕著に精度とキャリブレーションを向上させる。最小限のラベル付きデータ（10例程度）を用い、CIFAR-10HおよびImageNet-16Hデータセットにおいて一貫した性能向上を示している。

ABSTRACT

An increasingly common use case for machine learning models is augmenting the abilities of human decision makers. For classification tasks where neither the human or model are perfectly accurate, a key step in obtaining high performance is combining their individual predictions in a manner that leverages their relative strengths. In this work, we develop a set of algorithms that combine the probabilistic output of a model with the class-level output of a human. We show theoretically that the accuracy of our combination model is driven not only by the individual human and model accuracies, but also by the model's confidence. Empirical results on image classification with CIFAR-10 and a subset of ImageNet demonstrate that such human-model combinations consistently have higher accuracies than the model or human alone, and that the parameters of the combination method can be estimated effectively with as few as ten labeled datapoints.

研究の動機と目的

• マルチクラス分類タスクにおいて、人間の予測（クラスレベルのラベル）と機械学習モデルの確率的出力を実用的かつラベル効率よく統合する手法を開発すること。
• 人間とモデルの補完的誤りパターンを活用することで、分類精度とキャリブレーションを向上させること。
• モデルの信頼度と人間の誤り多様性が統合性能に与える影響を理論的および実験的に分析すること。
• 人間またはモデルの一方が個別に精度が低くても、効果的な人間・機械の協働を可能にすること。
• 最小限のラベル付きデータ（10例程度）で効果を示すフレームワークを提供すること。

提案手法

• 本手法は、潜在的な真値を想定した統合確率的フレームワークを用いて、人間の誤り行列とモデルのキャリブレーションパラメータをモデル化する。
• EMアルゴリズムを用い、ラベルなしデータ（モデルの出力確率と人間のラベルを含む）から、モデルのキャリブレーションおよび人間の誤り行列パラメータを推定する。
• Eステップでは、人間のラベルとモデル出力に基づく真値の事後確率を計算する。Mステップでは、最尤推定またはMAP推定によりパラメータを更新する。
• 誤り行列の更新には、期待される人間のラベル分布に基づく閉形式の更新を用いる。モデルのキャリブレーションには勾配ベース最適化を適用する。
• ロジスティック回帰、誤り行列のみ（SP）、完全ベイジアンP+L手法を含む、複数の推定戦略をサポートする。
• 特に低データ環境でのロバスト性を高めるために、ディリクレ事前分布を組み込む。

実験結果

リサーチクエスチョン

• RQ1 人間のクラスレベル予測とモデルの確率的出力を組み合わせることで、単体のモデルまたは人間よりも高い精度が達成可能か？
• RQ2 モデルのキャリブレーションと人間の誤り行列特性が、統合システムの性能にどのように寄与するか？
• RQ3 組み合わせモデルを有効に訓練するのに必要な最小限のラベル付きデータ量はどの程度か？
• RQ4 モデルの信頼度と人間の誤りパターンの違いが、最終的な予測精度とキャリブレーションに与える影響は？
• RQ5 モデルが人間よりも精度が低い状況でも、組み合わせ手法が両者を上回る性能を発揮できるか？

主な発見

• CIFAR-10Hにおける人間・機械の統合では、平均誤差率が2.85%に低下し、人間（4.62%）およびモデル（6.10%）単体の結果を上回った。
• ImageNet-16Hでは、統合手法により誤差率が6.62%に低下した。人間（9.99%）およびモデル（11.1%）の単体結果よりも顕著に改善された。
• P+L（完全ベイジアン）手法は、大多数の設定で最小の誤差率を達成したが、より多くのデータと計算リソースを要した。
• SP手法はラベル効率が高かったが、しばしばアンダーフィットし、特にデータが限られた状況ではP+Lより性能が劣った。
• ロジスティック回帰手法はCIFAR-10Hではラベル効率が低かったが、数100件のラベル付きデータで学習した場合、ImageNet-16HではP+Lを上回った。
• 本手法は、10例のラベル付きデータのみで顕著な性能向上を示し、優れたラベル効率を実証した。