[논문 리뷰] Maximum Likelihood Uncertainty Estimation: Robustness to Outliers

Deebul S. Nair, Nico Hochgeschwender외 1명|arXiv (Cornell University)|2022. 02. 03.

Adversarial Robustness in Machine Learning인용 수 9

한 줄 요약

이 논문은 회귀 작업에서 레이블 이상치에 대한 강건성을 향상시키기 위해 최대우도 추정에서 라플라스 분포를 사용하는 것을 제안한다. 표준 가우시안 손실 대신 꼬리가 두꺼운 라플라스 손실을 사용함으로써 학습 중 이상치의 영향을 줄여 더 정확하고 校정된 예측 불확실성 추정, 더 나은 분포 외 탐지, 그리고 악성 공격 탐지 성능 향상을 이룬다. 특히 단일 영상에서의 깊이 추정과 같은 고차원 작업에서 두드러진다.

ABSTRACT

We benchmark the robustness of maximum likelihood based uncertainty estimation methods to outliers in training data for regression tasks. Outliers or noisy labels in training data results in degraded performances as well as incorrect estimation of uncertainty. We propose the use of a heavy-tailed distribution (Laplace distribution) to improve the robustness to outliers. This property is evaluated using standard regression benchmarks and on a high-dimensional regression task of monocular depth estimation, both containing outliers. In particular, heavy-tailed distribution based maximum likelihood provides better uncertainty estimates, better separation in uncertainty for out-of-distribution data, as well as better detection of adversarial attacks in the presence of outliers.

연구 동기 및 목표

• 학습 데이터에 노이즈가 있는 레이블이나 이상치가 포함되어 있을 때 딥 레거션에서 정확한 불확실성 추정이 어려운 문제를 해결한다.
• 낮은 추론 비용으로 인해 실시간 자율 시스템에서 선호되는 단일 모델 기반 불확실성 추정 방법의 강건성을 향상시킨다.
• 특히 단일 영상 깊이 추정과 같은 고차원 레거션 작업에서의 실질적인 데이터 오염 조건 하에서 불확실성 추정 성능을 평가한다.
• 꼬리가 두꺼운 분포, 특히 라플라스 분포가 이상치가 불확실성 校정에 악영향을 미치는 데에 대비하여 효과적인 해결책이 될 수 있는지 벤치마크한다.
• 라플라스 기반 최대우도 손실이 가우시안 및 증거 기반 기준 대비 분포 외 샘플과 악성 입력을 더 잘 탐지할 수 있음을 입증한다.

제안 방법

• 예측 불확실성을 모델링하기 위해 라플라스 분포의 음의 로그우도를 사용하여 최대우도 손실 함수를 수립한다.
• 라플라스 분포의 꼬리가 두꺼운 성질을 활용하여 학습 중에 큰 오차에 대해 더 낮은 손실을 할당함으로써 이상치의 영향을 줄인다.
• 단일 순방향 전파로 출력 분포의 평균과 척도(표준편차)를 예측하는 하나의 딥 네ural 네트워크를 라플라스 손실로 훈련한다.
• 표준 레거션 벤치마크와 NYU-Depth-v2 데이터셋에서 라플라스 기반 방법을 가우시안 및 증거 기반(Evidential Deep Learning) 기준과 비교한다.
• 신뢰도 다이어그램, 엔트로피 기반 불확실성 측정, 내재된 분포 및 분포 외 예측 간의 분리 정도를 평가하기 위한 통계적 검정을 통해 불확실성 校정을 평가한다.
• FGSM 노이즈를 적용하고 증가하는 노이즈 강도(ε)에 따라 불확실성 증가(엔트로피)를 측정하여 악성 공격에 대한 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 학습 데이터에 이상치가 포함되어 있을 때, 특히 가우시안 기반 최대우도 손실을 사용할 경우 불확실성 추정의 강건성이 어떻게 떨어지는가?
• RQ2 꼬리가 두꺼운 분포인 라플라스 분포를 사용하면 레이블 노이즈가 있는 환경에서 딥 레거션 모델의 불확실성 추정 강건성이 향상되는가?
• RQ3 라플라스 기반 손실 함수는 내재된 분포와 분포 외 예측 간의 불확실성 점수에서 더 우수한 분리 성능을 보이는가?
• RQ4 라플라스 기반 불확실성 추정은 다양한 수준의 노이즈 강도에서 악성 예측을 얼마나 효과적으로 탐지하는가?
• RQ5 이상치가 존재하는 상황에서도 여러 훈련 시도 동안 제안된 방법이 보존된 캘리브레이션된 불확실성 추정을 유지할 수 있는가?

주요 결과

• 신뢰도 다이어그램과 엔트로피 기반 평가를 통해, 특히 높은 이상치 비율에서 라플라스 기반 손실 함수가 가우시안 및 증거 기반 방법보다 불확실성의 캘리브레이션을 크게 향상시킨다.
• 10% 이상치가 포함된 NYU-Depth-v2 데이터셋에서, 라플라스 방법은 잘 校정된 불확실성 추정을 유지하는 반면, 가우시안 방법은 심각한 캘리브레이션 오차를 보였다.
• 시험된 방법들 중에서 라플라스 방법이 가장 높은 브레이커아웃 포인트를 기록하여 훈련 중 이상치 오염에 대한 우수한 내성 강도를 보였다.
• 라플라스 기반 모델은 내재된 분포와 분포 외(ApolloScape) 데이터 간의 불확실성 엔트로피에 통계적으로 유의미한 분리를 보였으며, 이는 신뢰할 수 있는 OOD 탐지 능력을 의미한다.
• 라플라스 방법은 FGSM 악성 공격의 노이즈 강도(ε) 증가에 따라 엔트로피가 단조적으로 증가하는 경향을 보였으며, 다른 방법 대비 더 나은 악성 입력 탐지 능력을 보였다.
• 여러 독립적인 시도에서, 라플라스 방법은 가장 신뢰할 수 있고 변동성이 가장 작은 불확실성 추정을 일관되게 생성했으며, 강건성과 캘리브레이션 측면에서 가우시안 및 증거 기반 기준을 모두 초월했다.