[논문 리뷰] A Study on Mitigating Hard Boundaries of Decision-Tree-based Uncertainty Estimates for AI Models

Pascal Gerber, Lisa Jöckel외 1명|arXiv (Cornell University)|2022. 01. 10.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 결정트리 기반의 AI 모델 불확실성 추정에서 딱딱한 결정 경계를 완화하기 위해, 불확실성 워핑 프레임워크에 대체 앙상블 방법을 통합하는 방식을 제안한다. CARLA 시뮬레이터에서 생성한 보행자 검출 데이터와 YOLOv3를 사용한 연구에서, 랜덤 포레스트가 경계 민감도를 감소시키며 Brier 점수 성능을 가장 효과적으로 향상시키는 것으로 나타났지만, 이는 해석 가능성 저하와 런타임 복잡도 증가라는 대가를 치르는 바이다.

ABSTRACT

Outcomes of data-driven AI models cannot be assumed to be always correct. To estimate the uncertainty in these outcomes, the uncertainty wrapper framework has been proposed, which considers uncertainties related to model fit, input quality, and scope compliance. Uncertainty wrappers use a decision tree approach to cluster input quality related uncertainties, assigning inputs strictly to distinct uncertainty clusters. Hence, a slight variation in only one feature may lead to a cluster assignment with a significantly different uncertainty. Our objective is to replace this with an approach that mitigates hard decision boundaries of these assignments while preserving interpretability, runtime complexity, and prediction performance. Five approaches were selected as candidates and integrated into the uncertainty wrapper framework. For the evaluation based on the Brier score, datasets for a pedestrian detection use case were generated using the CARLA simulator and YOLOv3. All integrated approaches achieved a softening, i.e., smoothing, of uncertainty estimation. Yet, compared to decision trees, they are not so easy to interpret and have higher runtime complexity. Moreover, some components of the Brier score impaired while others improved. Most promising regarding the Brier score were random forests. In conclusion, softening hard decision tree boundaries appears to be a trade-off decision.

연구 동기 및 목표

• 결정트리 기반의 불확실성 클러스터링에서 딱딱한 결정 경계로 인한 급격한 불확실성 변화 문제를 해결하기 위해.
• 불확실성 추정의 부드러움을 확보하면서도 모델의 해석 가능성, 예측 성능, 계산 효율성을 유지하기 위해.
• 불확실성 워핑 프레임워크에서 의사결정 트리를 대체하거나 보완할 수 있는 대체 방법을 평가하기 위해.
• 불확실성 추정 품질, 해석 가능성, 계산 비용 간의 상충 관계를 평가하기 위해.

제안 방법

• 랜덤 포레스트, k-NN, SVM, 로지스틱 회귀, k-means의 다섯 가지 후보 방법을 불확실성 워핑 프레임워크에 통합하여 의사결정 트리를 대체하거나 보완하기 위해.
• 입력 품질의 조절 가능한 변동을 가진 합성 보행자 검출 데이터셋을 생성하기 위해 CARLA 시뮬레이터를 사용하기 위해.
• 기본 객체 검출 모델로 YOLOv3를 사용하여 불확실성 추정에 사용할 예측 결과를 생성하기 위해.
• 다양한 방법 간의 불확실성 캘리브레이션을 평가하기 위해 Brier 점수를 주요 평가 지표로 사용하기 위해.
• 특성 유사도 기반으로 입력을 클러스터링하여 불확실성 수준을 할당하며, 이때 이산적인 트리 기반 할당을 부드러운 할당 방법으로 대체하기 위해.
• 각 방법이 불확실성 부드러움, 해석 가능성, 계산 오버헤드에 미치는 영향을 평가하기 위해.

실험 결과

연구 질문

• RQ1 부드러운 할당 방법은 딱딱한 결정 트리에 비해 불확실성 경계 민감도를 얼마나 줄이는가?
• RQ2 불확실성 캘리브레이션(Brier 점수)과 해석 가능성 간의 최적의 트레이드오프를 제공하는 대체 방법은 무엇인가?
• RQ3 각 방법이 런타임 복잡도와 모델 성능에 어떤 영향을 미치는가?
• RQ4 부드러움 기법은 예측 정확도를 떨어뜨리지 않고 불확실성 추정을 얼마나 향상시키는가?
• RQ5 제안된 부드러움 기법에 의해 Brier 점수의 각 구성 요소는 어떻게 반응하는가?

주요 결과

• 모든 통합 방법이 의사결정 트리 기반 불확실성 할당의 딱딱한 결정 경계를 효과적으로 완화하여 급격한 불확실성 변화를 감소시켰다.
• 랜덤 포레스트가 모든 방법 중에서 가장 유리한 Brier 점수 향상을 달성하여 더 나은 불확실성 캘리브레이션을 나타냈다.
• 성능 향상에도 불구하고, 랜덤 포레스트나 k-NN와 같은 부드러운 방법은 단일 의사결정 트리에 비해 해석 가능성 저하를 보였다.
• 앙상블 기반 방법에서는 런타임 복잡도가 크게 증가했으며, 특히 랜덤 포레스트와 k-NN에서 두드러졌다.
• 일부 Brier 점수 구성 요소는 특정 방법에서 악화되어 캘리브레이션 품질에 부분적인 상충 관계가 있음을 시사했다.
• 이 연구는 결정 경계를 완화하는 것이 불확실성의 부드러움, 해석 가능성, 계산 비용 간의 근본적인 상충 관계를 수반한다는 점을 확인했다.