[論文レビュー] From ImageNet to Image Classification: Contextualizing Progress on Benchmarks

Dimitris Tsipras, Shibani Santurkar+3 more|arXiv (Cornell University)|May 22, 2020

Mobile Crowdsensing and Crowdsourcing被引用数 61

ひとこと要約

本論文は大規模な人間注釈を用いてImageNetのデータ収集パイプラインにおける偏りとミスアラインメントを分析し、マルチオブジェクト画像、ラベル検証の偏り、標準的な精度と並ぶ人間中心の評価の必要性を明らかにする。

ABSTRACT

Building rich machine learning datasets in a scalable manner often necessitates a crowd-sourced data collection pipeline. In this work, we use human studies to investigate the consequences of employing such a pipeline, focusing on the popular ImageNet dataset. We study how specific design choices in the ImageNet creation process impact the fidelity of the resulting dataset---including the introduction of biases that state-of-the-art models exploit. Our analysis pinpoints how a noisy data collection pipeline can lead to a systematic misalignment between the resulting benchmark and the real-world task it serves as a proxy for. Finally, our findings emphasize the need to augment our current model training and evaluation toolkit to take such misalignments into account. To facilitate further research, we release our refined ImageNet annotations at https://github.com/MadryLab/ImageNetMultiLabel.

研究の動機と目的

• ImageNetのクラウドソーシングによる収集プロセスが現実世界の物体認識タスクと偏りやミスアラインメントを導入する可能性を評価する。
• マルチオブジェクト画像やラベル検証の偏りがモデル評価に与える有病率と影響を定量化する。
• 真の ground truth をより正確に捉える改良注釈パイプラインを提案し、その影響をモデル性能に与える。
• ImageNetの固定ラベル精度を補完する人間の判断を組み込んだ評価指標を提唱する。

提案手法

• モデル予測による候補ラベルを用いた二段階の注釈パイプライン（Candidate Labels; per-object labeling の分類タスク）を開発し、細粒度の画像注釈を取得する。
• 複数のモデルのトップ5予測を用いて各画像の候補ラベルを生成する。
• Containsタスクで候補ラベルをフィルタリングし、続くClassifyタスクで各オブジェクトのラベルと主オブジェクトを割り当てる。
• 多数決によって annotator の回答を集計し、画像ごとのオブジェクト数と主ラベルを推定する。
• Benchmark-タスクの整合性を評価するために10,000枚のImageNet検証画像（クラスあたり10枚）を分析する。
• 固定された画像ラベル精度以外の人間中心の指標を用いて、モデル予測と人が注釈した真のデータとの一致を比較する。

実験結果

リサーチクエスチョン

• RQ1 ImageNetのラベルは画像中の真の主オブジェクトとオブジェクト数とどれだけ一致しているか？
• RQ2 一般的なデータ収集・検証の選択が、得られる注釈やモデル評価にどのようなバイアスを生むか？
• RQ3 マルチオブジェクト画像とラベルの曖昧さが標準のトップ1/トップ5精度に与える影響は？
• RQ4 人間を介在させた評価は、従来の精度指標では捉えられない進展を明らかにできるか？

主な発見

• ImageNetの画像の1つ以上には、複数のクラスのオブジェクトが含まれており、ベンチマークではマルチオブジェクト画像が一般的であることを示している。
• 複数オブジェクト画像で、単一のImageNetラベルで評価するとモデルの精度が大幅に低下するが、マルチラベル評価はギャップを縮小する。
• Containsタスク中に annotator が複数の相互排他的なラベルを検証することが多く、検証プロセスのバイアスを明らかにしている。
• 人間は時にImageNetの主オブジェクトと異なる主張をすることがあり、データセットのラベルと認識される主オブジェクトの間に不一致があることを示している。
• 予測が画像内の任意のオブジェクトと一致する、または人間の注釈による主オブジェクトと一致する場合に正解と扱う、より自然な評価がいくつかのバイアスを緩和する。
• 最先端モデルは人間の観点から見てImageNetラベルに非常に近い予測をすることが多く、改善は分布適合の反映であり真の ground-truth の進展を意味しない可能性を示唆している。