[論文レビュー] Eliciting and Learning with Soft Labels from Every Annotator

Katherine M. Collins, Umang Bhatt+1 more|arXiv (Cornell University)|Jul 2, 2022

Mobile Crowdsensing and Crowdsourcing被引用数 3

ひとこと要約

本論文は、複数のアノテーターからのハードラベルの集約に代わり、個々のアノテーターからソフトラベル（全クラスに対する確率的判断）を効率的に得る手法を提案する。CIFAR-10の1,000枚のテスト画像に対して248人のアノテーターから6,200件のソフトラベルを収集した。著者らはCIFAR-10Sデータセットを公開し、このラベルで訓練されたモデルが、従来の8.5倍少ないアノテーターで同等の性能を達成することを示した。また、より豊かな不確実性信号を捉えることで、モデルのキャリブレーションとロバスト性が向上することも明らかにした。

ABSTRACT

The labels used to train machine learning (ML) models are of paramount importance. Typically for ML classification tasks, datasets contain hard labels, yet learning using soft labels has been shown to yield benefits for model generalization, robustness, and calibration. Earlier work found success in forming soft labels from multiple annotators' hard labels; however, this approach may not converge to the best labels and necessitates many annotators, which can be expensive and inefficient. We focus on efficiently eliciting soft labels from individual annotators. We collect and release a dataset of soft labels (which we call CIFAR-10S) over the CIFAR-10 test set via a crowdsourcing study (N=248). We demonstrate that learning with our labels achieves comparable model performance to prior approaches while requiring far fewer annotators -- albeit with significant temporal costs per elicitation. Our elicitation methodology therefore shows nuanced promise in enabling practitioners to enjoy the benefits of improved model performance and reliability with fewer annotators, and serves as a guide for future dataset curators on the benefits of leveraging richer information, such as categorical uncertainty, from individual annotators.

研究の動機と目的

• 複数のアノテーターからのハードラベルの集約に代わり、個々のアノテーターごとに全クラスに対する確率的判断（ソフトラベル）を豊かに得る手法を開発すること。
• ソフトラベル収集のコストと非効率性を低減し、ラベル品質を維持したまま必要なアノテーター数を最小限に抑えること。
• CIFAR-10テストセットの1,000枚の画像に対して6,200件のソフトラベルを含む、新しいデータセットCIFAR-10Sを公開し、モデルの一般化性能とキャリブレーションの向上を可能にすること。
• 他のデータセットやドメインに適応可能な、公開可能な柔軟なインターフェースを提供すること。

提案手法

• 各アノテーターに、画像ごとに全10クラスに対する確率を割り当てることで、直接的な不確実性を捉えるソフトラベルを獲得する。
• アノテーターが画像を表示し、全クラスに確率を配分できるクラウドソーシングインターフェースを用い、有効な確率分布が得られるように制約を設ける。
• 個々のアノテーターのソフトラベルを単純平均することで、最終的なデータセットCIFAR-10Sを構築する。
• 再利用・他のデータセットやドメインへの適応を可能にするために、インターフェースのコードを公開する。
• 実行可能性を確保し、収穫時の認知的負荷を低減するため、管理可能なラベル空間（10クラス）に焦点を当てる。
• CIFAR-10Sで訓練したモデルの性能を、複数アノテーターからのハードラベルを集約した従来のベンチマークCIFAR-10Hと比較することで、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 個々のアノテーターから得たソフトラベルは、多数のアノテーターからのハードラベル集約と同等のモデル性能を達成できるか？
• RQ2 個々のアノテーターの確率的判断を直接得ることで、従来のハードラベル集約と比較して、モデルのキャリブレーションとロバスト性が向上するか？
• RQ3 個々のアノテーターからのソフトラベルを用いることで、モデル性能を損なわずに必要なアノテーター数を大幅に削減できるか？
• RQ4 個々のアノテーターからのソフトラベル収集に要する時間的コストは、従来のハードラベル作成と比較してどの程度か？また、これを軽減できるか？
• RQ5 個々のアノテーターからのソフトラベルは、集約されたハードラベルと比較して、人間の不確実性をどの程度正確に反映しているか？

主な発見

• CIFAR-10Sで訓練したモデルは、集約されたハードラベルから構築されたベンチマークCIFAR-10Hと同等の正確性、ロバスト性、キャリブレーション性能を達成した。
• 本手法では、従来の多数アノテーターによるアプローチと比較して、必要なアノテーター数を約8.5倍削減できた。
• データセットCIFAR-10Sには、CIFAR-10テストセットの1,000枚の画像に対して248人のアノテーターから得た6,200件のソフトラベルが含まれる。
• アノテーターの妥当性は中程度：再試行時に最も確率の高いラベルを変更したのは約7%にとどまり、変更しなかった者では平均で6%の確率シフトを示した。
• 著者らは、そのラベル収集インターフェースのコードを https://github.com/cambridge-mlg/cifar-10s/ で公開しており、他のデータセットへの再利用や拡張が可能である。
• 本研究は、モードのみの集約に比べて、全確率分布を捉えることでより豊かな不確実性信号が得られることの価値を強調した。