[논문 리뷰] Measuring Classification Decision Certainty and Doubt

Alexander Berenbeim, Iain J. Cruickshank외 3명|arXiv (Cornell University)|2023. 03. 25.

Machine Learning and Data Classification인용 수 5

한 줄 요약

이 논문은 다중 분류 모델에서의 불확실성 정량화를 위한 직관적이고 수학적으로 탄탄한 지표로 확실성 및 의심 점수를 도입한다. 확률 차이와 그 역수를 사용하여 쌍별 및 원시적 형태의 확실성과 의심을 제안하며, 사영 기하학을 통한 기하적 해석과 열악한 확률 할당을 방지하는 비용 함수를 제공함으로써, 더 나은 불확실성 인식 모델 평가 및 훈련이 가능해진다.

ABSTRACT

Quantitative characterizations and estimations of uncertainty are of fundamental importance in optimization and decision-making processes. Herein, we propose intuitive scores, which we call certainty and doubt, that can be used in both a Bayesian and frequentist framework to assess and compare the quality and uncertainty of predictions in (multi-)classification decision machine learning problems.

연구 동기 및 목표

• 다중 분류 모델에서 의사결정의 확실성과 의심을 해석 가능하고 정량화된 측정치로 개발한다.
• 예측 확률의 尾부 확률이 결과에 큰 영향을 미치는 안전이 중요한 AI 응용 분야에서 불확실성 인식 의사결정을 가능하게 한다.
• 베이지안 및 빈도주의 프레임워크 모두에서 확실성과 의심을 상호 보완적이고 기하학적으로 해석 가능한 점수로 체계화한다.
• 의심을 최소화하고 모호한 예측을 방지하는 비용 함수를 제안하여 모델의 강건성을 향상시킨다.
• 신경망 아키텍처 간의 불확실성 특성 기반 비교를 위한 프레임워크를 제공한다.

제안 방법

• 쌍별 확실성은 가장 높은 확률과 다른 각 클래스의 확률 차이로 정의한다: $\chi_i = \pi_j(\mathbf{p}) - \pi_i(\mathbf{p})$ for $i \neq j$.
• 쌍별 의심은 이 차이의 역수로 정의한다: $\delta_i = 1 / (\pi_j(\mathbf{p}) - \pi_i(\mathbf{p}))$ for $i \neq j$, $i = j$일 경우 $\delta_i = 0$.
• 비정규화된 로짓 $\mathbf{y}$를 사용하여 원시적 확실성과 의심을 도입한다: $\xi_i = \pi_j(\mathbf{y}) - \pi_i(\mathbf{y})$ 및 $\rho_i = 1 / (\pi_j(\mathbf{y}) - \pi_i(\mathbf{y}))$ for $i \neq j$.
• 모든 클래스 간의 쌍별 확실성을 표현하기 위해 비대칭 행렬 $\mathbf{C}^o(\mathbf{p}) = \mathbf{p}\mathbf{1}^T - \mathbf{1}\mathbf{p}^T$ 과 $\mathbf{C}(\mathbf{p}) = \mathbf{I} + \mathbf{C}^o(\mathbf{p})$ 를 사용한다.
• 의심을 $\mathbf{D}(\mathbf{p}) = \text{Inv}(\mathbf{C}(\mathbf{p})) - \mathbf{I}$ 로 제안하며, 여기서 Inv는 원소별 역수를 의미하며, 대칭 케이스에서 오해를 불러일으킬 수 있는 항등행렬 결과를 피하기 위해 사용된다.
• 구면 투영과 사영 기하학을 활용하여 $\mathbb{R}\mathbb{P}^1$ 상에서 의심을 모델링하며, $\arcsin\left(\frac{1 - \prod_{i \neq j} \chi_i^2}{1 + \prod_{i \neq j} \chi_i^2}\right)$ 기반의 비용 함수를 제안하여 고도의 의심을 방지한다.

실험 결과

연구 질문

• RQ1 해석 가능하고 확장 가능한 지표를 사용하여 다중 분류 모델에서 의사결정의 확실성과 의심을 공식적으로 정량화할 수 있는가?
• RQ2 예측 확률이 거의 동일할 때 직관적인 불확실성 개념을 가장 잘 반영하는 기하학적 프레임워크는 무엇인가?
• RQ3 확실성과 의심 점수는 안전이 중요한 응용 분야에서 모델 평가 및 훈련 향상에 어떻게 활용될 수 있는가?
• RQ4 최적화에 적합한 매끄럽고 미분 가능한 비용 함수는 무엇인가, 이를 통해 의심을 효과적으로 최소화할 수 있는가?
• RQ5 다양한 신경망 아키텍처 간의 확실성 및 의심 점수는 불확실성 행동 측면에서 어떻게 비교될 수 있는가?

주요 결과

• 제안된 확실성 및 의심 점수는 상호 보완적이며, 상위 두 예측 확률이 동일할 경우 최대 불확실성을 반영하는 0의 확실성과 무한대의 의심을 가진다.
• 원시적 의심 점수 $\rho_i$ 는 상위 로짓과 다른 각 로짓 간의 차이의 역수로 정의되어, 다양한 모델 간의 의미 있는 비교를 보장한다.
• 행렬 기반의 확실성 표현 $\mathbf{C}(\mathbf{p})$ 는 가역적이며, 원소별 역수를 취한 후 항등행렬을 빼면 $\mathbf{C}^{-1}$ 보다 더 정확한 의심 측정을 제공한다.
• 사영 기하학의 사용은 의심을 $\mathbb{R}\mathbb{P}^1$ 상의 점으로 표현할 수 있게 하며, 확률이 동일할 경우 $[0:1]$ 이 무한대의 의심을 나타낸다.
• 제안된 비용 함수 $\arcsin\left(\frac{1 - \prod \chi_i^2}{1 + \prod \chi_i^2}\right)$ 는 $\prod (p_1 - p_i) = 0$ 인 열악한 확률 할당을 방지하여 고도의 모호성을 식별한다.
• 이 프레임워크는 확률 기반 및 로짓 기반의 두 형태를 모두 지원하여, 구현의 유연성과 표준 딥러닝 파ip라인과의 호환성을 확보한다.