[論文レビュー] Assessing Data Quality of Annotations with Krippendorff Alpha For Applications in Computer Vision

Joseph Nassar, Viveca Pavon-Harr+2 more|arXiv (Cornell University)|Dec 20, 2019

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、物体検出データセットにおけるアノテーター間整合性を評価するためにKrippendorffのAlphaを提案し、ラベリング中にアノテーション品質をモニタリングすることでモデルの精度が著しく向上することを示している。実際のアノテーション実験にこの指標を適用した結果、低整合性のアノテーターを除外することで、RetinaNetモデルの性能が向上し、高整合性の教師強化学習データを用いることで精度が最大15%向上することが明らかになった。

ABSTRACT

Current supervised deep learning frameworks rely on annotated data for modeling the underlying data distribution of a given task. In particular for computer vision algorithms powered by deep learning, the quality of annotated data is the most critical factor in achieving the desired algorithm performance. Data annotation is, typically, a manual process where the annotator follows guidelines and operates in a best-guess manner. Labeling criteria among annotators can show discrepancies in labeling results. This may impact the algorithm inference performance. Given the popularity and widespread use of deep learning among computer vision, more and more custom datasets are needed to train neural networks to tackle different kinds of tasks. Unfortunately, there is no full understanding of the factors that affect annotated data quality, and how it translates into algorithm performance. In this paper we studied this problem for object detection and recognition.We conducted several data annotation experiments to measure inter annotator agreement and consistency, as well as how the selection of ground truth impacts the perceived algorithm performance.We propose a methodology to monitor the quality of annotations during the labeling of images and how it can be used to measure performance. We also show that neglecting to monitor the annotation process can result in significant loss in algorithm precision. Through these experiments, we observe that knowledge of the labeling process, training data, and ground truth data used for algorithm evaluation are fundamental components to accurately assess trustworthiness of an AI system.

研究の動機と目的

• アノテーション品質が物体検出におけるディーブラーニングモデルの性能に与える影響を調査すること。
• KrippendorffのAlphaを用いたデータ品質の監視手法を画像アノテーションプロセスに開発すること。
• クラウドソーシングとプロフェッショナルなアノテーターの違いが、モデルの精度と一貫性に与える影響を評価すること。
• アノテーター間整合性に基づいた教師強化学習データの選択が、より信頼性の高い性能評価を可能にすることを実証すること。
• データラベリングと評価プロセスの透明性を高めることで、AIの信頼性を向上させること。

提案手法

• 複数のアノテーター集団におけるボクシングボックスアノテーションのアノテーター間整合性を定量化するためにKrippendorffのAlphaを適用すること。
• 同じ画像セットに対してプロフェッショナルチームとクラウドソーシングワーカー（MTurk）を用いた制御されたアノテーション実験を実施すること。
• KrippendorffのAlphaをリアルタイムの品質指標として用い、低整合性のアノテーターを特定し、データキュレーションを支援すること。
• アノテーターの整合性レベルでフィルタリングされたデータセットを用いてRetinaNetモデルを学習し、バージョン間での性能を比較すること。
• 異なる整合性閾値に基づいて得られた複数の教師強化学習バージョン（gt1, gt2, gt3）を用いてモデル性能を評価すること。
• ハイパーパrameterを変更せずに、高整合性データと低整合性データで学習したモデルの精度、再現率、F1スコアを比較して影響を評価すること。

実験結果

リサーチクエスチョン

• RQ1 KrippendorffのAlphaで測定されたアノテーター間整合性と、物体検出におけるモデル精度の相関関係は何か？
• RQ2 高整合性アノテーターと低整合性アノテーターのデータで学習したモデルの性能差は何か？
• RQ3 アノテーターの整合性レベルに基づいて教師強化学習データを選択することは、アルゴリズム性能の評価にどのように影響するか？
• RQ4 KrippendorffのAlphaは、コンピュータビジョン分野のアノテーションタスクに効果的に適応・適用可能か？
• RQ5 ラベリング段階でアノテーション品質をモニタリングすることで、モデル精度の低下をどの程度防げるか？

主な発見

• アノテーター間整合性が高く（KrippendorffのAlpha > 0.8）、高品質なアノテーションデータで学習したモデルは、全データで学習したモデルと比較して最大15%の精度向上を示した。
• 低整合性アノテーターのデータを含めると、誤検出（ファルスポジティブ）が著しく増加し、再現率は上昇するがモデルの精度は低下した。
• 高整合性アノテーターから得られた教師強化学習データ（gt1およびgt2）を用いて学習したRetinaNetモデルは、元の不一致の多い教師強化学習データ（gt3）を用いたモデルを上回る性能を示した。
• クラウドソーシングのMTurkアノテーターではKrippendorffのAlpha値が著しく低く（α ≈ 0.6）なっており、アノテーションの一貫性が低いことが示された。一方、プロフェッショナルチームではα ≈ 0.9と高い整合性を示した。
• 低整合性アノテーターを除外することで、モデル予測における誤分類数が50%以上も減少したが、モデルのハイパーパrameterはそのままであった。
• 本研究では、アノテーション品質を評価しないままデータセットをブラックボックスとして扱うと、特に教師強化学習が不一致を含む場合に誤った性能評価につながる可能性があることが明らかになった。