[논문 리뷰] Ambiguous Annotations: When is a Pedestrian not a Pedestrian?

Luisa Schwirten, Jannes Scholz외 2명|arXiv (Cornell University)|2024. 05. 14.

Safety Warnings and SignagePsychology인용 수 3

한 줄 요약

이 논문은 인간 애너테이터 간의 이견을 기반으로 한 정량적 불확실성 측도를 활용해 훈련 데이터에서 매우 모호한 애너테이션을 식별하고 제거함으로써 보행자 검출 모델 성능을 햖थन하는 방법을 제안한다. 모호한 인스턴스를 제거함으로써 저자들은 훈련 시간과 애너테이션 비용을 줄이며 mAP, LAMR, 정밀도, F1 점수 향상을 달성한다.

ABSTRACT

Datasets labelled by human annotators are widely used in the training and testing of machine learning models. In recent years, researchers are increasingly paying attention to label quality. However, it is not always possible to objectively determine whether an assigned label is correct or not. The present work investigates this ambiguity in the annotation of autonomous driving datasets as an important dimension of data quality. Our experiments show that excluding highly ambiguous data from the training improves model performance of a state-of-the-art pedestrian detector in terms of LAMR, precision and F1 score, thereby saving training time and annotation costs. Furthermore, we demonstrate that, in order to safely remove ambiguous instances and ensure the retained representativeness of the training data, an understanding of the properties of the dataset and class under investigation is crucial.

연구 동기 및 목표

• 인간 애너테이션을 기반으로 한 자율주행 데이터셋에서의 모호성 문제를 데이터 품질의 핵심 차원으로 규명하는 것.
• 높은 모호성 애너테이션을 제거함으로써 최신 보행자 검출기의 성능 향상 여부를 평가하는 것.
• 라벨 일치도가 낮은 인스턴스를 식별하고 제외함으로써 훈련 및 애너테이션 비용을 줄이는 것.
• 데이터 정제 과정에서 데이터셋의 대표성 유지가 가능하도록 정보 기반의 데이터 쿠라션 전략을 확보하는 것.

제안 방법

• 동일한 인스턴스에 대해 다수의 애너테이터가 부여한 레이블의 빈도 분포를 기반으로 히우리스틱 기반의 모호성 측도를 정량화하는 것.
• 모호성 점수가 높은 인스턴스를 훈련 세트에서 제거하기 위한 임계값 기반 정제 전략을 적용하는 것.
• 기본 모델과 정제된 데이터셋을 각각 사용해 최신 보행자 검출기를 훈련하고 비교 평가하는 것.
• 클래스 및 속성(예: 가림, 블러) 별로 모호성 분포를 시각화하고 분석하여 일반적인 이견 원인을 규명하는 것.
• 가림 태그와 시각적 점검을 활용해 모호성과 알려진 어려운 이미지 특성 간의 관계를 검증하는 것.
• 정제 과정에서 데이터셋의 대표성이 손상되지 않도록 하기 위해 데이터 수집 또는 증강 전략을 조정하는 것.

실험 결과

연구 질문

• RQ1 모호한 애너테이션의 존재가 보행자 검출 모델 성능에 어떤 영향을 미치는가?
• RQ2 높은 모호성 인스턴스를 제거함으로써 LAMR, 정밀도, F1 점수 등의 모델 지표 향상이 가능한가?
• RQ3 모호성과 가림, 블러와 같은 알려진 이미지 수준의 과제 간의 관계는 어떠한가?
• RQ4 모호성을 어떻게 정량화하고, 데이터 정제를 이끄는 데 사용할 수 있으며, 데이터셋의 대표성은 유지할 수 있는가?
• RQ5 특히 재현율, 정밀도, 일반화 능력 측면에서 모호한 데이터를 제거할 경우 발생하는 트레이드오프는 무엇인가?

주요 결과

• 훈련 세트에서 높은 모호성 인스턴스를 제거함으로써 대부분의 평가 서브셋에서 보행자 검출기의 LAMR, 정밀도, F1 점수가 향상되었다.
• 정제된 데이터로 훈련된 모델은 비가림 서브셋에서 베이스라인을 능가했으며, 이는 명확한 케이스에서의 일반화 능력 향상을 시사한다.
• 전체 데이터셋으로 훈련된 모델은 가림 서브셋에서 더 우수한 성능을 보였으며, 이는 모호한 인스턴스가 비례적으로 더 많이 가림 상태임을 확인한다.
• 높은 모호성 점수와 가림 태그 존재 간에 강한 상관관계가 있으며, 모호성 점수가 0.79일 때 가림의 빈도가 최고조에 이르렀다.
• 모호한 데이터 정제로 인해 훈련 시간과 애너테이션 비용이 감소했으며, 특히 고모호성 인스턴스가 애너테이션에서 완전히 제외된 경우 효과가 뚜렷했다.
• 본 연구는 모호성이 단순한 노이즈가 아니라 데이터의 구조적 특성임을 입증하며, 모델의 강건성과 효율성을 유지하기 위해 체계적인 쿠라션 전략이 필수적임을 보여준다.