[논문 리뷰] A Confidence-Calibrated MOBA Game Winner Predictor

Donghee Kim, Chang-Woo Lee외 1명|arXiv (Cornell University)|2020. 06. 28.

Artificial Intelligence in Games참고 문헌 10인용 수 4

한 줄 요약

이 논문은 입력에 따라 변동성이 큰 데이터를 가진 다중 플레이어 온라인 전략 게임인 리그 오브 레전드에서 승자 예측을 위한 데이터 불확실성 인식 신뢰도 校정 방법을 제안한다. 입력에 특화된 불확실성에 따라 신뢰도를 조정하는 새로운 데이터 불확실성 손실 함수를 도입함으로써, 기존의 온도 스케일링(1.11% ECE)과 같은 전통적 방법보다 뛰어난 성능을 보이며 기대 캘리브레이션 오차(Expected Calibration Error, ECE)를 0.57%로 낮추었다.

ABSTRACT

In this paper, we propose a confidence-calibration method for predicting the winner of a famous multiplayer online battle arena (MOBA) game, League of Legends. In MOBA games, the dataset may contain a large amount of input-dependent noise; not all of such noise is observable. Hence, it is desirable to attempt a confidence-calibrated prediction. Unfortunately, most existing confidence calibration methods are pertaining to image and document classification tasks where consideration on uncertainty is not crucial. In this paper, we propose a novel calibration method that takes data uncertainty into consideration. The proposed method achieves an outstanding expected calibration error (ECE) (0.57%) mainly owing to data uncertainty consideration, compared to a conventional temperature scaling method of which ECE value is 1.11%.

연구 동기 및 목표

• 리그 오브 레전드와 같은 MOBA 게임에서 신경망 예측의 과신과 과소신 문제를 해결하기 위해.
• 실시간 MOBA 게임 데이터에 내재된 입력 의존적 노이즈를 고려함으로써 예측 신뢰도를 향상시키기 위해.
• 불확실성이 균일하게 분포하지 않는 게임 환경에 특화된 신뢰도 캘리브레이션 방법을 개발하기 위해.
• 기대 오차 측정 지표에서 기존 기법들인 온도 스케일링과 행렬 스케일링을 초월하기 위해.

제안 방법

• 입력에 특화된 불확실성(σ)과 예측된 신뢰도(μc)를 함께 모델링하는 데이터 불확실성 손실 함수를 도입하여 보다 정교한 신뢰도 캘리브레이션을 구현한다.
• 표준 크로스 엔트로피 손실에 입력 불확실성이 높을수록 과신을 방지하는 항을 추가하여 수정한다.
• 게임 시간, 챔피언 조합, 골드/경험치 차이, 킬 수 등의 입력 특징을 사용한 다층 퍼셉트론(MLP)을 적용한다.
• 신뢰도 다이어그램 기반 평가를 통해 다양한 신뢰도 구간에서의 예측 신뢰도와 정확도의 관계를 시각화한다.
• ECE, MCE, NLL를 계산하기 위해 M=10개의 균일한 크기의 신뢰도 간격으로 분할 전략을 사용한다.
• 학습은 83,875개의 훈련 매치와 10,000개의 테스트 매치에서 20 에포크 동안 고정 학습률 1e-4로 Adam 옵timizer를 사용해 수행된다.

실험 결과

연구 질문

• RQ1 입력 의존적 데이터 불확실성을 명시적으로 모델링하는 신뢰도 캘리브레이션 방법이 MOBA 게임에서 예측의 신뢰도를 향상시킬 수 있는가?
• RQ2 제안된 데이터 불확실성 손실 함수는 ECE와 MCE 측면에서 기존의 표준 기법인 온도 스케일링과 비교해 어떻게 성능을 냈는가?
• RQ3 입력 데이터의 불확실성을 고려함으로써 실시간 e스포츠 예측에서 더 나은 일반화 성능과 과신 감소 효과를 얻을 수 있는가?
• RQ4 기존의 플랫 스케일링 방법과 비교해 제안된 방법은 높은 정확도를 유지하면서도 더 뛰어난 캘리브레이션 성능을 달성할 수 있는가?

주요 결과

• 제안된 방법은 기대 캘리브레이션 오차(ECE) 0.57%를 기록하여 온도 스케일링(1.11%) 및 기타 플랫 스케일링 방법보다 유의미하게 뛰어난 성능을 보였다.
• 데이터 불확실성 손실을 사용해 학습된 모델은 73.81%의 정확도를 달성하여, 행렬 스케일링(73.05%)과 비교적 과도한 예측이 없는 기준선(72.95%)을 모두 초월했다.
• 최대 캘리브레이션 오차(MCE)는 제안된 방법에 의해 1.26%로 낮아졌으며, 비교된 모든 방법 중에서 가장 우수한 성능을 기록했다.
• 신뢰도 다이어그램 분석 결과, 제안된 방법은 모든 신뢰도 범주에서 예측된 신뢰도와 실제 정확도 간 격차를 최소화하는 경향을 보였다.
• NLL 값은 0.515로 온도 스케일링(0.505)보다 약간 열등하지만, 캘리브레이션 지표에서의 향상이 이 미세한 흐름을 상쇄할 정도로 유의미했다.
• 온도 스케일링이 로짓을 균일하게 스케일링하는 데 반해, 제안된 방법은 입력에 특화된 불확실성에 따라 동적으로 신뢰도를 조정함으로써 과신과 과소신을 효과적으로 완화했다.