[논문 리뷰] Justification-Based Reliability in Machine Learning

Nurali Virani, Naresh Iyer외 1명|arXiv (Cornell University)|2019. 11. 18.

Adversarial Robustness in Machine Learning참고 문헌 17인용 수 4

한 줄 요약

이 논문은 기계학습 모델의 예측 신뢰도를 향상시키기 위해 플라톤의 정당화된 진리 믿음(JTB) 이론을 확장하여 개인 예측의 지식적 불확실성을 정량화하는 정당화 기반 신뢰도 프레임워크를 제안한다. 이는 k-NN, ℓp-노름, ε-NN 등의 이웃 연산자를 사용해 예측을 뒷받침하는 학습 데이터를 확보함으로써 '내가 안다(IK)', '내가 안다고도 할 수 있다(IMK)', 또는 '내가 모른다(IDK)' 영역으로 분류할 수 있도록 하며, 실험 결과는 적대적 변형에 대해 뛰어난 내성적 안정성과 기준 임계값 기반 방법보다 향상된 신뢰도를 보였다.

ABSTRACT

With the advent of Deep Learning, the field of machine learning (ML) has surpassed human-level performance on diverse classification tasks. At the same time, there is a stark need to characterize and quantify reliability of a model's prediction on individual samples. This is especially true in application of such models in safety-critical domains of industrial control and healthcare. To address this need, we link the question of reliability of a model's individual prediction to the epistemic uncertainty of the model's prediction. More specifically, we extend the theory of Justified True Belief (JTB) in epistemology, created to study the validity and limits of human-acquired knowledge, towards characterizing the validity and limits of knowledge in supervised classifiers. We present an analysis of neural network classifiers linking the reliability of its prediction on an input to characteristics of the support gathered from the input and latent spaces of the network. We hypothesize that the JTB analysis exposes the epistemic uncertainty (or ignorance) of a model with respect to its inference, thereby allowing for the inference to be only as strong as the justification permits. We explore various forms of support (for e.g., k-nearest neighbors (k-NN) and l_p-norm based) generated for an input, using the training data to construct a justification for the prediction with that input. Through experiments conducted on simulated and real datasets, we demonstrate that our approach can provide reliability for individual predictions and characterize regions where such reliability cannot be ascertained.

연구 동기 및 목표

• 기계학습 모델의 개별 예측 신뢰도를 향상시키기 위해 철학적 믿음 개념을 정량화하기 위해 철학에서의 정당화된 진리 믿음(JTB) 이론을 기계학습 모델에 적용한다.
• 예측에서 지식 부족으로 인한 지식적 불확실성(에피스테믹 불확실성)과 데이터의 본질적 변동성으로 인한 애일레토릭 불확실성(aleatoric uncertainty)을 구분한다.
• 입력 공간과 잠재 공간에서 학습 데이터로부터 증거를 수집할 수 있는 도메인 독립적인 이웃 연산자를 개발한다.
• 지원 품질과 데이터 밀도에 기반해 입력 영역을 '내가 안다(IK)', '내가 안다고도 할 수 있다(IMK)', 또는 '내가 모른다(IDK)'로 특성화한다.
• 적대적 변형과 노이즈 조건에서의 내성적 안정성 평가를 위해 F_IK 및 A_IK와 같은 새로운 지표를 사용하여 방법의 신뢰도를 평가한다.

제안 방법

• 철학에서의 정당화된 진리 믿음(JTB) 프레임워크를 확장하여 모델 예측을 정당화가 필요한 지식으로 간주할 수 있도록 정의한다.
• k-NN, ℓp-노름, ε-NN 연산자를 사용해 주어진 입력에 대해 입력 공간과 은닉층 공간에서 학습 데이터 포인트로부터 지원을 수집한다.
• 예측을 세 가지 신뢰도 영역으로 분류한다: IK(신뢰할 만한), IMK(중첩된 지원으로 인한 모호함), IDK(이상치이거나 근접한 지원이 없음).
• 로지츠 및 중간층과 같은 여러 층에 걸쳐 이웃 연산자를 적용하여 내성적 안정성과 정당화 품질을 향상시킨다.
• 신뢰도 평가를 위해 F_IK(정확한 IK 예측의 비율)와 A_IK(IK 예측의 정확도)와 같은 새로운 지표를 사용한다.
• 소프트맥스 신뢰도 임계값에 의존하지 않고 플랫팅 스케일링과 이웃 기반 신뢰 점수를 사용해 예측을 校정한다.

실험 결과

연구 질문

• RQ1 기계학습 모델의 개별 예측에서 지식적 불확실성을 정량화하기 위해 JTB 프레임워크를 적용할 수 있는가?
• RQ2 다양한 이웃 연산자(k-NN, ℓp-노름, ε-NN)가 모델 예측의 신뢰도와 내성적 안정성에 어떤 영향을 미치는가?
• RQ3 이 방법은 입력 공간에서 외삽 영역(IDK), 혼란 영역(IMK), 신뢰 영역(IK)을 구분할 수 있는가?
• RQ4 소프트맥스 점수의 기준 임계값 기반 방법과 비교해 볼 때, 제안된 방법은 적대적 및 일반적인 변형에 대해 얼마나 더 내성적 안정성이 높은가?
• RQ5 여러 네트워크 층에서 지원을 수집할 경우, 예측의 신뢰도가 향상되고 과신이 감소하는 정도는 어느 정도인가?

주요 결과

• 큰 적대적 변형 조건에서 ε-NN 및 H-2 이웃 연산자가 높은 F_IK와 A_IK를 기록하여 k-NN 및 기준 방법을 능가했다.
• 기준 모델은 변형 조건에서 높은 F_IK를 보였지만 IK 예측의 A_IK는 낮아 과신이 드러났고, 제안된 방법은 정확히 IDK 영역을 식별했다.
• 최소 두 층(예: 로지츠 및 중간층)에서 지원을 확보할 경우, 단지 로지츠 층만 사용하는 것보다 내성적 안정성이 향상되었다.
• 이 방법은 빈 이웃을 가진 IDK 영역을 성공적으로 식별하여 이질적 또는 새로운 입력임을 나타내었고, 순수하지 않은 지원을 가진 IMK 영역는 추가 정보가 필요함을 시사했다.
• 시뮬레이션 데이터, 시계열 데이터, 이미지 데이터 모두에서 이 방법은 뛰어난 신뢰도를 보였으며, 적대적 내성적 안정성과 이상 탐지 성능 향상에 기여했다.
• H-2 및 ε-NN 연산자는 k-NN에 비해 커버리지가 낮았지만, 큰 변형 조건에서 상당히 높은 신뢰도를 보였으며, 커버리지와 내성적 안정성 사이의 상충 관계를 부각시켰다.