[論文レビュー] Is one annotation enough? A data-centric image classification benchmark for noisy and ambiguous label estimation

Lars Schmarje, Vasco Grossmann+9 more|Helmholtz Centre for Ocean Research Kiel (GEOMAR)|Jul 13, 2022

Machine Learning and Data Classification被引用数 10

ひとこと要約

本論文は、10の実世界データセットを対象に、1枚の画像あたり複数の人的アノテーションを用いて、ノイズあり・曖昧なラベルの影響を評価するデータ中心のベンチマークを導入する。教師（ラベル改善）と生徒（モデル評価）を分離することで、1つのアノテーションでは不十分であり、複数のアノテーターからのソフトラベルがモデルのロバスト性を向上させ、過信を軽減することを示している。

ABSTRACT

High-quality data is necessary for modern machine learning. However, the acquisition of such data is difficult due to noisy and ambiguous annotations of humans. The aggregation of such annotations to determine the label of an image leads to a lower data quality. We propose a data-centric image classification benchmark with ten real-world datasets and multiple annotations per image to allow researchers to investigate and quantify the impact of such data quality issues. With the benchmark we can study the impact of annotation costs and (semi-)supervised methods on the data quality for image classification by applying a novel methodology to a range of different algorithms and diverse datasets. Our benchmark uses a two-phase approach via a data label improvement method in the first phase and a fixed evaluation model in the second phase. Thereby, we give a measure for the relation between the input labeling effort and the performance of (semi-)supervised algorithms to enable a deeper insight into how labels should be created for effective model training. Across thousands of experiments, we show that one annotation is not enough and that the inclusion of multiple annotations allows for a better approximation of the real underlying class distribution. We identify that hard labels can not capture the ambiguity of the data and this might lead to the common issue of overconfident models. Based on the presented datasets, benchmarked methods, and analysis, we create multiple research opportunities for the future directed at the improvement of label noise estimation approaches, data annotation schemes, realistic (semi-)supervised learning, or more reliable image collection.

研究の動機と目的

• ラベルノイズおよび曖昧性が画像分類性能に与える影響を調査すること。
• 半教師あり学習におけるアノテーション作業量とモデル性能の関係を定量化すること。
• 実世界の画像分類におけるデータ中心的手法を評価するための標準化されたベンチマークを提供すること。
• 単一のハードラベルではデータの曖昧性を捉えきれず、過信の強いモデルが生じることを示すこと。
• ラベルノイズ推定の向上、アノテーション方式の最適化、現実的な半教師あり学習に関する研究を可能にすること。

提案手法

• 2段階のベンチマークを提案：(1) 複数のアノテーションを入力としてラベルを改善する段階、(2) 改善されたラベル上で固定モデルを評価する段階。
• 教師-生徒パラダイムを採用し、教師が初期のラベル推定を改善し、生徒がホールドアウトされたテストセット上で性能を評価する。
• 野生動植物、医療画像、農業画像など多様な分野をカバーする複数の実世界データセットを用い、1枚の画像あたり複数の人的アノテーションを提供する。
• 広範なアルゴリズム互換性を実現するため、共通のデータローダを介してPyTorchおよびTensorFlowと統合をサポートする。
• 固定された評価モデルを用いて標準的な指標（正確度、F1スコア、AUC）を測定し、データ品質の向上に起因する成果の差を明確に分離する。
• さまざまなデータ分布を想定したベースライン手法（例：SGNP、SimCLR、SWAV）を適用し、ラベル改善の効果を評価する。

実験結果

リサーチクエスチョン

• RQ1 1枚の画像に対して1つの人的アノテーションは、その画像の真のクラス分布を十分に表現できるか？
• RQ2 1枚の画像あたりのアノテーション数が、下流の画像分類モデルの性能にどのように影響するか？
• RQ3 データ中心的手法は、実世界のデータセットにおけるラベルノイズおよび曖昧性の影響をどの程度軽減できるか？
• RQ4 複数のアノテーターからのソフトラベル推定は、モデルの一般化性能を向上させ、過信を軽減できるか？
• RQ5 半教師あり学習において、アノテーションコストとモデル性能の最適なトレードオフは何か？

主な発見

• 人的アノテーター間の合意率が4%から100%まで広範にわたることから、1つのアノテーションでは画像データに内在する曖昧性を捉えきれないことが示された。
• 複数のアノテーションにより、真の潜在的クラス分布に近い近似が可能となり、モデルの過信が軽減された。
• ハードラベルでは不確実性が表現されないため、ラベルが曖昧であってもモデルが過信してしまう。
• 本ベンチマークは、ラベル改善手法が下流のモデル性能を顕著に向上させられることを示しており、特に初期ラベルにノイズが多い場合に顕著である。
• 複数のアノテーターからのソフトラベル推定は、すべての10のデータセットで正確度およびF1スコアに測定可能な向上をもたらし、より信頼性が高くロバストなモデル学習を実現した。
• 評価フェーズでは、性能向上がモデルアーキテクチャそのものによるものではなく、データ品質の向上に起因することが確認された。