[논문 리뷰] Assessing Data Quality of Annotations with Krippendorff Alpha For Applications in Computer Vision

Joseph Nassar, Viveca Pavon-Harr외 2명|arXiv (Cornell University)|2019. 12. 20.

Adversarial Robustness in Machine Learning인용 수 8

한 줄 요약

이 논문은 객체 검출 데이터셋에서 상호 평가자 간 일致성 평가에 Krippendorff의 Alpha를 사용할 것을 제안하며, 레이블링 중에 annotation 품질을 모니터링함으로써 모델 정밀도가 크게 향상됨을 입증한다. 실제 annotation 실험에 이 지표를 적용한 결과, 낮은 일치도를 보이는 평가자들을 제외함으로써 RetinaNet 모델의 성능이 향상되었으며, 높은 일치도의 참조 데이터를 사용할 경우 정밀도 향상 폭이 최대 15%에 이르렀다.

ABSTRACT

Current supervised deep learning frameworks rely on annotated data for modeling the underlying data distribution of a given task. In particular for computer vision algorithms powered by deep learning, the quality of annotated data is the most critical factor in achieving the desired algorithm performance. Data annotation is, typically, a manual process where the annotator follows guidelines and operates in a best-guess manner. Labeling criteria among annotators can show discrepancies in labeling results. This may impact the algorithm inference performance. Given the popularity and widespread use of deep learning among computer vision, more and more custom datasets are needed to train neural networks to tackle different kinds of tasks. Unfortunately, there is no full understanding of the factors that affect annotated data quality, and how it translates into algorithm performance. In this paper we studied this problem for object detection and recognition.We conducted several data annotation experiments to measure inter annotator agreement and consistency, as well as how the selection of ground truth impacts the perceived algorithm performance.We propose a methodology to monitor the quality of annotations during the labeling of images and how it can be used to measure performance. We also show that neglecting to monitor the annotation process can result in significant loss in algorithm precision. Through these experiments, we observe that knowledge of the labeling process, training data, and ground truth data used for algorithm evaluation are fundamental components to accurately assess trustworthiness of an AI system.

연구 동기 및 목표

• 객체 검출에서 annotation 품질이 딥러닝 모델 성능에 미치는 영향을 조사하기 위해.
• Krippendorff의 Alpha를 활용해 이미지 annotation 과정 중 데이터 품질을 모니터링하는 방법론을 개발하기 위해.
• 크라우드소싱과 전문 평가자 간의 영향을 정밀도 및 일관성 측면에서 평가하기 위해.
• 상호 평가자 간 일치도를 기반으로 한 참조 데이터 선택이 더 신뢰할 수 있는 성능 평가로 이어짐을 입증하기 위해.
• 데이터 레이블링 및 평가 과정의 투명성을 높임으로써 AI의 신뢰성을 향상시키기 위해.

제안 방법

• 다양한 평가자 그룹 간 경계 상자 annotation의 상호 평가자 간 일치도를 정량화하기 위해 Krippendorff의 Alpha를 적용하기 위해.
• 동일한 이미지 세트에 대해 전문 팀과 크라우드소싱 작업자(MTurk)를 대상으로 통제된 annotation 실험을 수행하기 위해.
• 실시간 품질 지표로 Krippendorff의 Alpha를 활용하여 낮은 일치도를 보이는 평가자를 식별하고 데이터 정제를 안내하기 위해.
• 평가자 일치도 수준에 따라 필터링된 데이터셋을 기반으로 RetinaNet 모델을 훈련하고, 버전 간 성능을 비교하기 위해.
• 다른 일치도 임계치를 기반으로 유도된 여러 참조 데이터 버전(gt1, gt2, gt3)을 사용하여 모델 성능을 평가하기 위해.
• 고일치도 데이터와 저일치도 데이터를 기반으로 훈련된 모델 간 정밀도, 재현율, F1-score 비교를 통해 영향을 평가하기 위해.

실험 결과

연구 질문

• RQ1 Krippendorff의 Alpha로 측정한 상호 평가자 간 일치도는 객체 검출에서 모델 정밀도와 어떻게 상관관계가 있는가?
• RQ2 높은 일치도 평가자와 낮은 일치도 평가자로부터의 데이터를 기반으로 훈련된 모델 간 성능 차이는 어떠한가?
• RQ3 일치도 수준에 기반한 참조 데이터 선택은 알고리즘 성능 평가에 어떻게 영향을 미치는가?
• RQ4 Krippendorff의 Alpha는 컴퓨터 비전 annotation 작업에 효과적으로 적응 및 적용될 수 있는가?
• RQ5 레이블링 중 annotation 품질을 모니터링함으로써 모델 정밀도 손실를 어느 정도 방지할 수 있는가?

주요 결과

• 상호 평가자 간 일치도가 높은 평가자(α > 0.8)로부터의 데이터를 기반으로 훈련된 모델은 전체 데이터를 기반으로 훈련한 모델 대비 최대 15%의 정밀도 향상을 보였다.
• 낮은 일치도 평가자들을 포함시킬 경우, 정밀도는 저하되었음에도 불구하고 재현율은 증가하여 가짜 양성 결과가 크게 증가했다.
• 높은 일치도 평가자들로부터 정제된 참조 데이터(gt1 및 gt2)를 기반으로 훈련된 RetinaNet 모델은 원래의 일관성 없는 참조 데이터(gt3)를 기반으로 훈련된 모델보다 뛰어난 성능을 보였다.
• 크라우드소싱 MTurk 평가자들의 Krippendorff의 Alpha 값은 전문 팀 대비 유의미하게 낮았으며(α ≈ 0.6 대비 α ≈ 0.9), 이는 크라우드소싱 레이블링의 높은 일관성 부족을 시사한다.
• 낮은 일치도 평가자를 제거함으로써, 모델 하이퍼파라미터를 그대로 유지한 상태에서도 예측에서 잘못 분류된 사례 수가 50% 이상 감소했다.
• 연구 결과, annotation 품질을 평가하지 않고 데이터셋을 블랙박스로 간주할 경우, 특히 참조 데이터가 일관성 없을 경우 오해의 평가 결과가 초래될 수 있음을 확인했다.