[논문 리뷰] DeepGUM: Learning Deep Robust Regression with a Gaussian-Uniform Mixture Model

Stéphane Lathuilière, Pablo Mesejo외 2명|arXiv (Cornell University)|2018. 08. 28.

Anomaly Detection Techniques and Applications참고 문헌 32인용 수 5

한 줄 요약

이 논문은 오차를 줄이기 위해 컨볼루션 네트워크와 가우시안-균일 혼합 모델을 결합한 딥로버스트 회귀 프레임워크인 DeepGUM을 제안한다. 비반복적 오차 탐지에 대한 기대 최대화(EM)와 지도 학습을 위한 확률적 경사 하강법을 번갈아 적용함으로써, 균일한 오차 오염 조건 하에서 40% 이상의 붕괴점(breakdown point)을 달성하고, 네 가지 시각 작업 전반에서 $L_2$, Huber, Biweight 손실 함수보다 정확도와 안정성 면에서 뛰어난 성능을 보인다.

ABSTRACT

In this paper, we address the problem of how to robustly train a ConvNet for regression, or deep robust regression. Traditionally, deep regression employs the L2 loss function, known to be sensitive to outliers, i.e. samples that either lie at an abnormal distance away from the majority of the training samples, or that correspond to wrongly annotated targets. This means that, during back-propagation, outliers may bias the training process due to the high magnitude of their gradient. In this paper, we propose DeepGUM: a deep regression model that is robust to outliers thanks to the use of a Gaussian-uniform mixture model. We derive an optimization algorithm that alternates between the unsupervised detection of outliers using expectation-maximization, and the supervised training with cleaned samples using stochastic gradient descent. DeepGUM is able to adapt to a continuously evolving outlier distribution, avoiding to manually impose any threshold on the proportion of outliers in the training set. Extensive experimental evaluations on four different tasks (facial and fashion landmark detection, age and head pose estimation) lead us to conclude that our novel robust technique provides reliability in the presence of various types of noise and protection against a high percentage of outliers.

연구 동기 및 목표

• 표준 $L_2$ 손실이 오차, 특히 잘못 레이블링된 데이터와 비정상적인 샘플에 민감한 문제를 해결한다.
• 오차 비율에 대한 수동 임계값 설정이 필요 없이 자동으로 오차를 탐지하고 가중치를 낮추는 방법을 개발한다.
• 특히 노이즈가 많은 레이블을 가진 대규모 데이터셋에서 오차가 높은 비율로 존재하는 상황에서도 딥 신경망이 신뢰할 수 있게 일반화할 수 있도록 한다.
• 확률적 오차 모델링과 엔드 투 엔드 딥 러닝을 통합하여 표현 학습과 안정성의 공동 최적화를 가능하게 한다.
• 伝통적인 M-추정기와 로버스트 회귀 기법의 대체로 사용 가능한 확장성 있고 학습 가능한 방법을 제공한다.

제안 방법

• 컨볼루션 네트워크의 최종 레이어로 가우시안-균일 혼합(GUM)을 사용하여, 내재 샘플은 가우시안 분포로, 오차는 균일 분포로 모델링한다.
• 교차 최적화 기법을 적용: 오차 탐지에 비지도 학습용 EM, 네트워크 가중치 업데이트에 지도 학습용 SGD를 번갈아 사용한다.
• EM 알고리즘을 활용해 각 샘플의 잠재 오차 확률을 추정하여, 역전파 동안 동적으로 샘플 재가중치를 가능하게 한다.
• GUM의 로그우도의 가중합으로 손실를 정의함으로써, 오차 확률이 높은 잔차 샘플의 영향을 감소시킨다.
• 오차 탐지가 불안정해지는 상황, 특히 높은 노이즈 상관관계 조건에서 과적합을 방지하기 위해 조기 정지와 적응형 학습률을 구현한다.
• 모델 전체를 엔드 투 엔드로 학습함으로써, 네트워크가 안정적인 특징을 학습하면서 동시에 오차를 식별하고 영향을 줄이는 데 기여한다.

실험 결과

연구 질문

• RQ1 오차 비율에 대한 사전 지식 없이도 고오차 비율이 존재하는 환경에서 딥 신경망을 안정적으로 학습시킬 수 있는가?
• RQ2 다양한 오차 분포 조건 하에서 DeepGUM의 붕괴점은 Huber 및 Biweight와 같은 전통적 로버스트 회귀 방법과 비교해 어떻게 되는가?
• RQ3 가우시안-균일 혼합 모델이 노이즈가 많은 레이블을 가진 실제 시각 작업에서 일반화 능력을 얼마나 향상시키는가?
• RQ4 EM 기반 오차 탐지 메커니즘이 학습 중에 잘못 레이블링된 데이터와 비정상적인 샘플을 효과적으로 식별하고 영향을 억제할 수 있는가?
• RQ5 DeepGUM이 실패하는 조건는 무엇이며, 특히 진짜 값과 높은 상관관계가 있는 노이즈 구조(예: 평균이 0인 상관 노이즈)에서 어떻게 적응하는가?

주요 결과

• l-UGO 데이터셋에서 DeepGUM은 약 40%의 붕괴점을 달성하며, Biweight 및 Huber보다 뛰어난 성능을 보이며, 30% 이상 오차 비율에서 성능과 재현율이 감소하는 경향을 보인다.
• g-UGO 데이터셋에서는 오차가 균일하게 분포되어 있어, DeepGUM은 붕괴점이 50% 이상 유지되어 높은 오차 오염 수준에서도 안정성을 입증한다.
• 오차 탐지 측면에서, DeepGUM은 붕괴점 이전까지 정밀도와 재현율이 항상 약 99% 수준을 유지하지만, Biweight 및 Huber는 오차 비율 증가에 따라 점차 재현율이 낮아진다.
• 영점 평균, 높은 상관관계가 있는 노이즈가 존재하는 NGO 데이터셋에서는, 조기 정지로 인한 수렴 불량으로 인해 DeepGUM의 성능이 $L_2$와 유사하게 저하되지만, 여전히 자동으로 합리적인 해를 회복한다.
• 얼굴 랜드마크 검출, 패션 랜드마크 검출, 연령 추정, 헤드 포즈 추정의 네 가지 실제 작업 전반에서 DeepGUM은 최신 기법과 비교해 유사하거나 더 뛰어난 성능을 달성했으며, 가설 검정을 통한 통계적 유의성도 확인되었다.
• 특히 균일한 오차 분포 조건에서, 오염된 학습 세트의 실패율을 효과적으로 줄이며, 학습 샘플의 약 40–50%가 오염된 상황에서도 신뢰할 수 있는 성능을 제공한다.