[논문 리뷰] Going Beyond One-Hot Encoding in Classification: Can Human Uncertainty Improve Model Performance?

Christoph Koller, Göran Kauermann외 1명|arXiv (Cornell University)|2022. 05. 30.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 심층 학습 분류에 인간의 불확실성을 통합하기 위해, 일항 인코딩 대신 다수의 전문가 투표에서 유도된 분포 레이블을 사용하는 방법을 제안한다. KL 발산 손실를 사용한 레이블 분포 학습을 적용함으로써, 일반화 성능(테스트 교차 엔트로피 10% 감소)과 캘리브레이션(기대 캘리브레이션 오차 약 절반으로 감소)이 크게 향상되었으며, 이는 명시적인 레이블 불확실성 모델링이 원격 감지 이미지 분류에서 성능과 신뢰성 모두를 향상시킨다는 것을 보여준다.

ABSTRACT

Technological and computational advances continuously drive forward the broad field of deep learning. In recent years, the derivation of quantities describing theuncertainty in the prediction - which naturally accompanies the modeling process - has sparked general interest in the deep learning community. Often neglected in the machine learning setting is the human uncertainty that influences numerous labeling processes. As the core of this work, label uncertainty is explicitly embedded into the training process via distributional labels. We demonstrate the effectiveness of our approach on image classification with a remote sensing data set that contains multiple label votes by domain experts for each image: The incorporation of label uncertainty helps the model to generalize better to unseen data and increases model performance. Similar to existing calibration methods, the distributional labels lead to better-calibrated probabilities, which in turn yield more certain and trustworthy predictions.

연구 동기 및 목표

• 레이블링 과정에서 인간의 불확실성을 통합할 경우 심층 학습 모델의 성능과 캘리브레이션 향상 여부를 조사하는 것.
• 특히 원격 감지 분야에서 흔히 발생하는 전문가 레이블링 데이터셋의 레이블 모호성과 불확실성 문제를 다루는 것.
• 다수의 전문가 투표에서 유도된 분포 레이블이 기존의 일항 인코딩보다 분류 작업에서 더 우수한 성능을 보이는지 평가하는 것.
• 레이블 불확실성 모델링이 더 잘 캘리브레이션된 예측 확률을 도출함으로써 성능 향상에 기여한다는 것을 입증하는 것.

제안 방법

• 저자들은 각 위성 이미지에 대해 10명의 전문가가 투표한 So2Sat LCZ42 데이터셋을 사용하여 인간의 불확실성을 반영한 경험적 레이블 분포를 구성한다.
• 이러한 레이블 분포는 표준 일항 인코딩 대신 레이블 분포 학습 프레임워크의 타겟으로 사용된다.
• 예측된 레이블 분포와 진짜 레이블 분포 간의 차이를 최소화하기 위해 KL 발산을 손실 함수로 사용하는 신경망 분류기 모델을 훈련시킨다.
• 모델 아키텍처와 하이퍼파rameter를 그대로 유지함으로써 레이블 불확실성의 영향을 성능과 캘리브레이션에만 집중적으로 분석한다.
• 모델의 캘리브레이션 평가에는 기대 캘리브레이션 오차(ECE)를, 일반화 성능 평가는 검증되지 않은 데이터에서의 교차 엔트로피 손실로 측정한다.
• 불확실성 모델링이 없는 표준 기준 모델과, 온디스플레이 캘리브레이션 기법인 온도 스케일링과 레이블 스무딩을 비교한다.

실험 결과

연구 질문

• RQ1 레이블의 인간 불확실성을 모델링하면 심층 학습 모델의 이미지 분류 성능에서 일반화 성능 향상이 이루어지는가?
• RQ2 전문가 투표에서 유도된 분포 레이블을 통합할 경우 더 잘 캘리브레이션된 예측 확률을 얻을 수 있는가?
• RQ3 동일한 원격 감지 데이터셋에서 분포 레이블로 훈련된 모델의 성능은 일항 인코딩으로 훈련된 모델과 비교해 어떻게 다른가?
• RQ4 레이블 불확실성 모델링을 통해 추가 하이퍼파rameter 튜닝 없이도 기대 캘리브레이션 오차(ECE)를 감소시킬 수 있는가?

주요 결과

• 분포 레이블로 훈련된 모델은 일항 인코딩 기반 기준 모델 대비 평균 10%의 테스트 교차 엔트로피 손실 감소를 기록하여 일반화 성능 향상을 보였다.
• 인간의 불확실성이 명시적으로 모델링된 경우 기대 캘리브레이션 오차(ECE)가 약 절반으로 감소하여 더 잘 캘리브레이션된 예측 확률을 제공함을 확인했다.
• 추가 하이퍼파rameter 튜닝 없이도, 불확실성 유도 기반 접근법이 레이블 스무딩 및 온도 스케일링과 같은 표준 캘리브레이션 기법보다 캘리브레이션 향상에서 뛰어난 성능을 보였다.
• 전문가 투표에서 유도된 레이블 분포가 인간의 본질적 불확실성을 효과적으로 반영하며, 이는 모델의 신뢰성 향상에 기여한다는 점을 입증했다.
• 고정된 모델 아키텍처 조건에서도 레이블 불확실성 통합이 예측 정확도 향상과 신뢰도 캘리브레이션 향상에 측정 가능한 기여를 했다.