[논문 리뷰] Adaptive Label Smoothing

Ujwal Krothapalli, A. Lynn Abbott|arXiv (Cornell University)|2020. 09. 14.

Video Analysis and Summarization참고 문헌 48인용 수 7

한 줄 요약

이 논문은 CNN 학습 중 바운딩 박스에서 유도된 오브젝트니스 스코어를 사용하여 오브젝트 크기에 따라 레이블 스무딩을 동적으로 조정하는 적응형 레이블 스무딩을 제안한다. 맥락이 아닌 오브젝트 비율에 기반한 신뢰도 예측을 통해, 맥락 전용 이미지에서 과신뢰도를 한 계급 수준으로 감소시키고, MS COCO에서 캘리브레이션 및 전이 학습 성능을 향상시켜 하드 레이블과 표준 레이블 스무딩을 능가한다.

ABSTRACT

This paper concerns the use of objectness measures to improve the calibration performance of Convolutional Neural Networks (CNNs). CNNs have proven to be very good classifiers and generally localize objects well; however, the loss functions typically used to train classification CNNs do not penalize inability to localize an object, nor do they take into account an object's relative size in the given image. During training on ImageNet-1K almost all approaches use random crops on the images and this transformation sometimes provides the CNN with background only samples. This causes the classifiers to depend on context. Context dependence is harmful for safety-critical applications. We present a novel approach to classification that combines the ideas of objectness and label smoothing during training. Unlike previous methods, we compute a smoothing factor that is \emph{adaptive} based on relative object size within an image. This causes our approach to produce confidences that are grounded in the size of the object being classified instead of relying on context to make the correct predictions. We present extensive results using ImageNet to demonstrate that CNNs trained using adaptive label smoothing are much less likely to be overconfident in their predictions. We show qualitative results using class activation maps and quantitative results using classification and transfer learning tasks. Our approach is able to produce an order of magnitude reduction in confidence when predicting on context only images when compared to baselines. Using transfer learning, we gain 2.1mAP on MS COCO compared to the hard label approach.

연구 동기 및 목표

• 안전 중심 응용 분야에서 사용되는 딥 CNN의 과신뢰도와 맥락 편향 문제를 해결하기 위해.
• 학습 중 오브젝트 크기 정보를 통합하여 모델의 캘리브레이션을 향상시키기 위해.
• 예측을 오브젝트 존재성과 크기에 기반하게 하여 맥락 또는 텍스처 신호에 대한 의존도를 줄이기 위해.
• ImageNet 전훈련을 활용한 객체 검출 작업에서의 전이 학습 성능을 향상시키기 위해.
• 오브젝트니스에 기반해 레이블 스무딩을 적응적으로 조정함으로써 더 신뢰할 수 있는 불확실성 추정을 제공하기 위해.

제안 방법

• 메서드는 바운딩 박스 애너테이션에서 유도된 오브젝트니스 스코어를 사용해 적응형 스무딩 인자를 계산한다.
• 오브젝트니스는 컷된 이미지 윈도우에 1000개의 ImageNet 클래스에 속하는 어떤 오브젝트라도 포함될 가능성을 측정한다.
• 스무딩 인자는 하드 레이블에 적용되어, 오브젝트 크기가 이미지 면적 대비 차지하는 비율을 반영하는 소프트 레이블로 변환된다.
• 학습 중에는 이 적응형 소프트 레이블에 대해 교차 엔트로피 손실이 적용되어, 작은 오브젝트 또는 존재하지 않는 오브젝트의 경우 신뢰도를 낮춘다.
• 스무딩 정도를 제어하기 위해 하이퍼파rameter β를 사용하며, 이는 영향 분석을 위한 아블레이션 스터디를 가능하게 한다.
• 이 방법은 ResNet-50 및 ResNet-101을 사용한 ImageNet-1K에서 평가되었고, 객체 검출을 위해 MS COCO에서 피나이팅되었다.

실험 결과

연구 질문

• RQ1 오브젝트 크기 정보는 분류 학습 중 딥 CNN의 캘리브레이션을 향상시키는 데 기여하는가?
• RQ2 적응형 레이블 스무딩은 맥락 전용 이미지에서 예측의 과신뢰도를 감소시키는가?
• RQ3 전이 학습을 통한 객체 검출에서, 적응형 레이블 스무딩은 하드 레이블과 고정 레이블 스무딩보다 나은가?
• RQ4 스무딩 하이퍼파rameter β는 모델의 캘리브레이션 및 정렬 성능에 어떤 영향을 미치는가?
• RQ5 적응형 레이블 스무딩은 안전 중심 응용 분야에서 더 나은 일반화와 신뢰성 달성에 기여하는가?

주요 결과

• 적응형 레이블 스무딩은 하드 레이블과 표준 레이블 스무딩 대비 맥락 전용 이미지에서 평균 신뢰도를 한 계급 수준으로 감소시킨다.
• MS COCO 객체 검출에서 하드 레이블 기준선 대비 2.1 mAP 향상이 이루어졌다.
• 평균 정밀도에서 CutMix(최첨단 데이터 증강 방법)와 0.001 mAP 이내로 근접한 성능을 기록했다.
• β 하이퍼파라미터를 증가시킬수록 모델의 과신뢰도가 감소하고, 더 낮은 피크(더 잘 캘리브레이션된) 예측이 생성된다.
• 낮은 β 값은 오브젝트 정렬 성능을 떨어뜨리며, 캘리브레이션과 정렬 정확도 사이의 트레이드오프를 나타낸다.
• 클래스 활성화 맵은 적응형 레이블 스무딩을 사용할 경우 관련 오브젝트 영역에 대해 개선된 공간적 주의를 보였다.