[논문 리뷰] No Cost Likelihood Manipulation at Test Time for Making Better Mistakes in Deep Networks

Shyamgopal Karthik, Ameya Prabhu외 2명|arXiv (Cornell University)|2021. 04. 01.

Imbalanced Data Classification Techniques참고 문헌 30인용 수 6

한 줄 요약

이 논문은 재학습 없이 레이블 계층 구조를 기반으로 소프트맥스 가능성도를 재가중하여 딥러닝 분류기의 실수 심각도를 향상시키기 위해 사후(test-time) 보정을 위한 조건부 위험 최소화(Conditional Risk Minimization, CRM)를 제안한다. CRM은 데이터셋 간에 평균 계층 거리가 유의미하게 감소하며 정확도 저하가 최소화되면서 최신의 계층 인식 방법들을 능가한다. 또한 모델의 校정성(calibration)을 유지한다.

ABSTRACT

There has been increasing interest in building deep hierarchy-aware classifiers that aim to quantify and reduce the severity of mistakes, and not just reduce the number of errors. The idea is to exploit the label hierarchy (e.g., the WordNet ontology) and consider graph distances as a proxy for mistake severity. Surprisingly, on examining mistake-severity distributions of the top-1 prediction, we find that current state-of-the-art hierarchy-aware deep classifiers do not always show practical improvement over the standard cross-entropy baseline in making better mistakes. The reason for the reduction in average mistake-severity can be attributed to the increase in low-severity mistakes, which may also explain the noticeable drop in their accuracy. To this end, we use the classical Conditional Risk Minimization (CRM) framework for hierarchy-aware classification. Given a cost matrix and a reliable estimate of likelihoods (obtained from a trained network), CRM simply amends mistakes at inference time; it needs no extra hyperparameters and requires adding just a few lines of code to the standard cross-entropy baseline. It significantly outperforms the state-of-the-art and consistently obtains large reductions in the average hierarchical distance of top-$k$ predictions across datasets, with very little loss in accuracy. CRM, because of its simplicity, can be used with any off-the-shelf trained model that provides reliable likelihood estimates.

연구 동기 및 목표

• 기존의 계층 인식 딥러닝 모델이 낮은 심각도의 실수를 증가시켜 실용적 유용성을 해칠 수 있는 한계를 해결하기 위해.
• 현재의 실수 심각도 측정 기준이 잘못된 방향으로 해석될 수 있으며, 낮은 심각도의 실수를 더 많이 하는 모델을 더 높은 점수로 평가함으로써 잘못된 모델 선택을 유도할 수 있음을 입증하기 위해.
• 재학습 없이도 간단한 사후 테스트 단계 보정을 제안하고 검증하기 위해. 이 보정은 조건부 위험 최소화(Conditional Risk Minimization, CRM)를 기반으로 하며, 하이퍼파rameter 조정 없이도 가능하다.
• CRM이 상위-k 예측에서 계층 거리를 크게 감소시키면서도 정확도와 모델의 校정성(calibration)을 유지함을 보여주기 위해.
• 복잡한 재학습 기반의 계층 인식 방법에 비해 실용적이고 효과적인 대안으로 고전적 CRM을 재활용할 것을 주장하기 위해.

제안 방법

• 테스트 단계에서 조건부 위험 최소화(Conditional Risk Minimization, CRM)를 적용하여, 레이블 계층 구조에 기반한 사전 정의된 비용 행렬을 사용해 클래스 가능성도를 재가중한다.
• 표준 크로스 엔트로피로 학습된 모델의 소프트맥스 출력 결과를 CRM의 가능성도 추정치로 사용한다.
• 실수 심각도를 계층 내에서 예측된 레이블과 진짜 레이블 간의 그래프 거리(예: LCA 높이)로 정의한다. (예: WordNet 기반)
• 위험 최소화 문제를 예측 결과에 대한 기대 계층 거리 최소화로 공식화하며, 가능성도의 닫힌 형식 해법을 통해 해결한다.
• 추가 하이퍼파rameter나 모델 재학습 없이도 몇 줄의 코드로 구현 가능한 경량 사후 처리 단계로 CRM을 통합한다.
• 기본 모델의 校정성(calibration)을 향상시키기 위해 온도 스케일링을 사용하지만, CRM 가능성도는 온도 스케일링 없이도 잘 校정되어 있음을 보여준다.

실험 결과

연구 질문

• RQ1 계층 인식 학습에서 사용되는 현재의 실수 심각도 측정 기준이 실질적인 실수의 질을 정확히 반영하는가, 아니면 낮은 심각도의 실수를 늘림으로써 조작될 수 있는가?
• RQ2 복잡한 재학습 기반의 계층 인식 딥러닝 방법보다 단순한 사후 테스트 단계 보정이 상위-k 예측의 계층 거리를 더 효과적으로 줄일 수 있는가?
• RQ3 학습 단계에서 레이블 계층을 통합할 경우 모델의 校정성(calibration)에 어떤 영향을 미치며, 가능성도 신뢰성은 떨어지는가?
• RQ4 고전적인 방법인 CRM이 현대 딥러닝 환경에서 상위-k 순위 향상, 정확도 향상, 校정성(calibration) 향상의 세 가지 목표를 동시에 달성할 수 있는가?
• RQ5 학습 단계에서 계층 통합을 대체할 수 있는 실용적이고 저비용의 대안이 존재하는가? 이 대안은 모델의 신뢰성과 성능을 유지해야 한다.

주요 결과

• CRM은 tiered-ImageNet 및 iNaturalist-H를 포함한 여러 데이터셋에서 상위-k 예측의 평균 계층 거리를 유의미하게 감소시키며, 최신 기술을 능가한다.
• k=1에서 k=5까지의 범위에서 CRM의 개선 효과가 일관되며, 상위-1 정확도를 유지하거나 약간 감소시키면서도 계층 거리가 크게 감소한다.
• 계층 인식 손실(예: 소프트 레이블, HXE, 레이블 스무딩)을 사용해 학습한 모델들은 심각한 校정성(calibration) 문제를 보이며, 온도 스케일링 이전에 기대 校정 오차(Expected Calibration Error, ECE) 값이 최대 88.32%까지 올라간다.
• 온도 스케일링은 기본 모델의 校정성(calibration)을 개선하지만, 원래의 크로스 엔트로피 기반 모델이나 CRM 예측 수준까지는 도달하지 못한다.
• CRM 가능성도는 온도 스케일링 없이도 잘 校정되어 있으며, CRM 예측의 ECE/MCE 점수는 원래 크로스 엔트로피 모델과 거의 동일하다.
• 제안된 방법은 재학습이 필요 없으며 하이퍼파rameter도 필요 없고, 몇 줄의 코드로 구현 가능하므로, 신뢰할 수 있는 가능성도를 제공하는 모든 오프더쇼프 딥러닝 네트워크에 쉽게 적용할 수 있다.