[論文レビュー] Ambiguous Annotations: When is a Pedestrian not a Pedestrian?

Luisa Schwirten, Jannes Scholz+2 more|arXiv (Cornell University)|May 14, 2024

Safety Warnings and SignagePsychology被引用数 3

ひとこと要約

本稿では、複数のアノテーター間の合意の程度に基づいて算出される定量的不明確さ尺度を用いて、トレーニングデータからの高レベルの曖昧なアノテーションを特定・削除することで、歩行者検出モデルの性能を向上させる手法を提案する。曖昧なインスタンスをプルーニングすることで、mAP、LAMR、精度、F1スコアが向上し、トレーニング時間とアノテーションコストが削減される。

ABSTRACT

Datasets labelled by human annotators are widely used in the training and testing of machine learning models. In recent years, researchers are increasingly paying attention to label quality. However, it is not always possible to objectively determine whether an assigned label is correct or not. The present work investigates this ambiguity in the annotation of autonomous driving datasets as an important dimension of data quality. Our experiments show that excluding highly ambiguous data from the training improves model performance of a state-of-the-art pedestrian detector in terms of LAMR, precision and F1 score, thereby saving training time and annotation costs. Furthermore, we demonstrate that, in order to safely remove ambiguous instances and ensure the retained representativeness of the training data, an understanding of the properties of the dataset and class under investigation is crucial.

研究の動機と目的

• 人間がアノテートした自動運転用データセットにおける不明確さを、データ品質の重要な次元として調査すること。
• 高レベルの曖昧なアノテーションを除去することで、最先端の歩行者検出器の性能が向上するかを評価すること。
• ラベル合意が低いインスタンスを特定・除外することで、トレーニングコストとアノテーションコストを削減すること。
• 曖昧なデータをプルーニングする際のデータの代表性が損なわれないよう、情報に基づいたデータキュレーションを通じて、データセットの代表性を維持すること。

提案手法

• 同一インスタンスに複数のアノテーターが付与したラベルの頻度分布に基づくヒューリスティックな測度を用いて、不明確さを定量化する。
• 閾値に基づくプルーニング戦略を適用し、高い不明確さスコアを持つインスタンスをトレーニングセットから削除する。
• 比較的評価のため、オリジナルデータセットおよびプルーニング済みデータセットの両方で最先端の歩行者検出器をトレーニングする。
• クラスや属性（例：隠蔽、ぼやけ）ごとの不明確さ分布を可視化・分析し、合意のない要因を特定する。
• 隠蔽タグと視覚的検査を用いて、不明確さと既知の困難な画像特性（例：隠蔽やぼやけ）との関係を検証する。
• プルーニングがデータセットの代表性を損なうリスクがある場合、データ収集または増強戦略を調整する。

実験結果

リサーチクエスチョン

• RQ1 曖昧なアノテーションの存在が、歩行者検出モデルの性能にどのように影響するか？
• RQ2 高レベルの曖昧なインスタンスを除去することで、LAMR、精度、F1スコアといったモデル指標が向上するか？
• RQ3 不明確さと、隠蔽やぼやけといった既知の画像レベルの課題との関係は何か？
• RQ4 不明確さはどのように定量化され、データプルーニングを導くために使用できるか？ ただし、データセットの代表性を損なわないようにする。
• RQ5 曖昧なデータを除去する際のトレードオフ、特に再現率、精度、一般化性能の観点でどのような点が生じるか？

主な発見

• トレーニングセットから高レベルの曖昧なインスタンスを除去することで、多数の評価サブセットにおいて歩行者検出器のLAMR、精度、F1スコアが向上した。
• プルーニング済みデータでトレーニングしたモデルは、非隠蔽サブセットでベースラインを上回り、明確なケースにおける一般化性能の向上を示した。
• 完全なデータセットでトレーニングしたモデルは、隠蔽サブセットでより良い性能を示した。これは、曖昧なインスタンスが特に隠蔽されている傾向にあることを確認した。
• 高い不明確さスコアと隠蔽タグの存在には強い相関があり、不明確さスコアが0.79の際に隠蔽の頻度がピークに達した。
• 曖昧なデータをプルーニングすることで、トレーニング時間とアノテーションコストが削減された。特に、高不明確さインスタンスがアノテーションから完全に除外された場合に顕著だった。
• 本研究では、不明確さがノイズではなく、モデルの強靭性と効率性を維持するための体系的キュレーションが必要なデータの構造的特性であることが示された。