[논문 리뷰] Uncertainty-aware Evaluation of Time-Series Classification for Online Handwriting Recognition with Domain Shift

Andreas Klaß, Sven M. Lorenz외 5명|arXiv (Cornell University)|2022. 06. 17.

Time Series Analysis and Forecasting인용 수 5

한 줄 요약

이 논문은 SWAG와 딥 엔sembles를 사용하여 도메인 스트레스 하에서 온라인 필기 인식의 불확실성 인식 시계열 분류를 평가하며, 엔트로피와 상호정보량이 모델 정확도와 강하게 상관되며, 특히 오른손잡이와 왼손잡이 필기자 간 구분에서 분포 외 샘플을 탐지할 수 있음을 입증한다.

ABSTRACT

For many applications, analyzing the uncertainty of a machine learning model is indispensable. While research of uncertainty quantification (UQ) techniques is very advanced for computer vision applications, UQ methods for spatio-temporal data are less studied. In this paper, we focus on models for online handwriting recognition, one particular type of spatio-temporal data. The data is observed from a sensor-enhanced pen with the goal to classify written characters. We conduct a broad evaluation of aleatoric (data) and epistemic (model) UQ based on two prominent techniques for Bayesian inference, Stochastic Weight Averaging-Gaussian (SWAG) and Deep Ensembles. Next to a better understanding of the model, UQ techniques can detect out-of-distribution data and domain shifts when combining right-handed and left-handed writers (an underrepresented group).

연구 동기 및 목표

• 오른손잡이와 왼손잡이 필기자 간 도메인 스트레스가 있는 온라인 필기 인식(OnHW)에서 불확실성 정량화(UQ) 기법을 평가하는 것.
• 신뢰도 캘리브레이션, 기대 캘리브레이션 오차(ECE), 및 신뢰도 다이어그램을 사용하여 애로타이픽 및 에피스테믹 불확실성 추정치의 신뢰성을 평가하는 것.
• 불확실성 분해가 분포 외 샘플을 탐지하고 실세계 구현에서 모델의 강건성을 향상시킬 수 있는지 조사하는 것.
• 스페이스타임 MTS 분류에 있어 도메인 스트레스가 있는 상황에서 SWAG와 딥 엔셈블즈의 성능 및 계산 비용을 비교하는 것.
• 결합된 대문자, 소문자, 혼합 문자 분류 작업 전반에 걸쳐 불확실성 측정치의 일반화 능력을 평가하는 것.

제안 방법

• 예측 불확실성을 추정하기 위해 온라인 필기 인식 모델에서 베이지안 추론을 위해 스위치드 웨이트 어버리징-가우시안(SWAG)과 딥 엔셈블즈를 적용한다.
• 권 등(2018)과 스미스 등(2018)의 불확실성 분해 기반으로 엔트로피와 상호정보량을 통해 애로타이픽 및 에피스테믹 불확실성을 분리한다.
• 모델의 신뢰도와 잘못된 캘리브레이션을 평가하기 위해 신뢰도 캘리브레이션 및 기대 캘리브레이션 오차(ECE)를 활용한다.
• 오른손잡이 필기자 데이터로 모델을 훈련하고 왼손잡이 필기자로 평가하여 도메인 스트레스를 시뮬레이션한다.
• 신뢰도 다이어그램과 엔트로피 분포를 시각화하여 불확실한 예측에 대한 임계값 전략을 평가한다.
• 분류 모델의 입력으로 센서가 내장된 펜(가속도계, 자이로스코프, 자석계, 힘 센서 포함)의 다변량 시계열(MTS) 데이터를 사용한다.

실험 결과

연구 질문

• RQ1 SWAG와 딥 엔셈블즈는 도메인 스트레스가 있는 OnHW에서 불확실성 추정에 대해 어떻게 비교되는가?
• RQ2 엔트로피와 상호정보량은 OnHW 작업에서 분류 정확도와 얼마나 강하게 상관되는가?
• RQ3 불확실성 분해는 특히 왼손잡이 필기자에서 온 분포 외 샘플을 효과적으로 탐지할 수 있는가?
• RQ4 오른손잡이 필기자로 훈련하고 왼손잡이 필기자로 테스트할 경우 모델 성능과 캘리브레이션은 어떻게 변화하는가?
• RQ5 실세계 구현에서 필기 인식 시스템에 대한 불확실성 임계값의 실용적 함의는 무엇인가?

주요 결과

• SWAG와 딥 엔셈블즈는 불확실성 추정에서 유사한 성능을 보이지만, SWAG는 계산적으로 더 효율적이다.
• 엔트로피와 상호정보량은 모델 정확도와 강한 상관관계를 보이며, 2.0비트 엔트로피 임계값을 초과하는 샘플은 약 82%의 정확도를 달성하고, 이를 하회하는 샘플은 약 31%의 정확도를 기록한다.
• 오직 오른손잡이 필기자 데이터로 훈련된 모델는 왼손잡이 필기자로 평가할 경우 과신하고 캘리브레이션 오류를 보이며, 이는 도메인 스트레스의 영향을 시사한다.
• 대문자와 소문자 조합 분류 작업은 단일 케이스 작업에 비해 낮은 정확도와 높은 불확실성을 보였다.
• 엔트로피와 상호정보량을 통한 불확실성 분해가 애로타이픽 및 에피스테믹 불확실성 원인을 명확히 구분하지 못해 해석성이 제한된다.
• 센서 데이터 해석의 복잡성과 글쓰기 스타일 또는 운동 기능과의 직접적 연관성이 부족하여 신뢰할 수 있는 불확실성 임계값을 사전에 정의하는 것은 어렵다.