[논문 리뷰] Robust artificial neural networks and outlier detection. Technical report

Gleb Beliakov, Andrei Kelarev외 1명|arXiv (Cornell University)|2011. 10. 02.

Advanced Statistical Methods and Models참고 문헌 54인용 수 12

한 줄 요약

이 논문은 비선형 회귀에서 이상치를 다루기 위해 페널티가 부여된 최소 절단 제곱법(PCLTS) 기준을 사용하는 강건한 인공신경망(ANN) 학습 방법을 제안한다. 유도하지 않는 최적화를 초기 학습에 적용하고, 유효한 데이터의 과도한 제거를 방지하는 페널티 항을 추가함으로써, 이상치 탐지 능력과 모델 정확도를 향상시킨다. 특히 높은 오염 수준에서 표준 LTS보다 우수한 성능을 보이며, 유효한 데이터 포인트를 잘 유지한다.

ABSTRACT

Large outliers break down linear and nonlinear regression models. Robust regression methods allow one to filter out the outliers when building a model. By replacing the traditional least squares criterion with the least trimmed squares criterion, in which half of data is treated as potential outliers, one can fit accurate regression models to strongly contaminated data. High-breakdown methods have become very well established in linear regression, but have started being applied for non-linear regression only recently. In this work, we examine the problem of fitting artificial neural networks to contaminated data using least trimmed squares criterion. We introduce a penalized least trimmed squares criterion which prevents unnecessary removal of valid data. Training of ANNs leads to a challenging non-smooth global optimization problem. We compare the efficiency of several derivative-free optimization methods in solving it, and show that our approach identifies the outliers correctly when ANNs are used for nonlinear regression.

연구 동기 및 목표

• 이상치로 오염된 데이터에서 인공신경망을 학습하는 데 있어 모델 성능이 심각하게 저하되는 문제를 해결하기 위해.
• 표준 LTS와 달리 유효한 데이터 포인트를 불필요하게 제거하지 않으면서 이상치를 식별하고 제거하는 강건한 학습 기준을 개발하기 위해.
• 실제 응용에서 거대한 오류나 혼합 현상이 존재할 수 있는 데이터 환경에서 신경망 모델의 신뢰성을 향상시키기 위해.
• 비연속적이며 비볼록인 목표 함수에서 효율적이고 정확한 학습을 가능하게 하는 도함수 기반 최적화와 백프로파게이션을 융합한 하이브리드 최적화 프레임워크를 설계하기 위해.
• 강건한 ANN 학습에서 발생하는 비연속적인 전역 최적화 문제를 해결하기 위해 다양한 도함수 기반 최적화 알고리즘의 성능을 평가하고 비교하기 위해.

제안 방법

• 표준 최소 절단 제곱법(LTS) 목표에 유효한 데이터의 제거를 억제하는 페널티 항을 추가한 페널티가 부여된 최소 절단 제곱법(PCLTS) 기준을 제안한다.
• 하이브리드 학습 전략을 적용: 먼저 도함수 기반 최적화 방법을 사용해 모든 데이터로 ANN를 초기 학습하여 잠재적 이상치를 식별하고, 그 후 유효한 데이터를 유지한 채로 백프로파게이션을 통해 정밀 조정한다.
• 잔차 기반의 임계값 기반 분류 기법을 적용하여 데이터를 이상치 또는 내재점으로 분류하며, PCLTS 기준은 최적의 피팅 부분집합에서 잔차 제곱합을 최소화하면서도 과도한 제거를 페널티 처리한다.
• 비연속적인 전역 최적화 문제를 해결하기 위해 세 가지 도함수 기반 최적화 알고리즘—Nelder-Mead, Hooke-Jeeves, 수정된 패턴 검색—을 사용한다.
• PCLTS 수식에 C와 B라는 매개변수를 도입하여 데이터 제거에 대한 페널티를 제어함으로써 강건성과 데이터 유지 간의 트레이드오���을 가능하게 한다.
• 다양한 노이즈 수준과 이상치 비율을 가진 여러 합성 데이터셋에서 방법을 검증하고, 표준 LTS 및 표준 ANN 학습과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 표준 LTS가 신경망 학습에서 흔히 발생하는 유효한 데이터 포인트의 과도한 제거 문제를 PCLTS 기준이 효과적으로 줄일 수 있는가?
• RQ2 비연속적인 PCLTS 목표 함수 하에서 신경망 학습을 수행할 때, 다양한 도함수 기반 최적화 방법 간의 성능은 어떻게 비교되는가?
• RQ3 높은 오염 수준(예: 20% 이상)에서 PCLTS 기반 학습이 모델 정확도와 강건성을 얼마나 향상시키는가?
• RQ4 초기 강건한 학습 후 깨끗한 데이터에서 백프로파게이션을 수행하는 하이브리드 학습 접근법이, 표준 최소 제곱법 또는 LTS를 사용한 엔드 투 엔드 학습보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ5 PCLTS는 복잡한 비선형 데이터에서 이상치를 성공적으로 식별하고 제거하면서도 기저의 기능적 구조를 잘 유지할 수 있는가?

주요 결과

• PCLTS 기준은 특히 높은 데이터 밀도 또는 복잡한 곡률을 가진 영역에서 표준 LTS가 야기하는 유효한 데이터의 과도한 제거 문제를 효과적으로 방지한다.
• 20% 이상의 이상치와 0.2의 노이즈 수준을 가진 데이터셋에서, PCLTS는 5개의 히든 뉴런을 사용해 평균 제곱오차 229.90을 달성했으며, 이는 표준 LTS보다 유의미하게 뛰어난 성능을 보였다. 표준 LTS는 최소값 근처의 유효한 데이터를 제거하여 성능이 저하되었다.
• 히든 뉴런 수가 5개이고 노이즈 비율이 20%인 데이터셋 10에서, PCLTS는 테스트 오차 217.86을 기록했지만, 동일한 아키텍처의 표준 LTS는 잘못된 이상치 제거로 진짜 함수를 모델링하지 못했다.
• 초기 PCLTS 최적화 후 백프로파게이션을 수행하는 하이브리드 학습 전략은 오염된 데이터에서 직접 백프로파게이션을 수행하는 것보다 더 정확하고 안정적인 모델을 도출했다.
• 검토된 도함수 기반 방법들 중에서 수정된 패턴 검색 알고리즘이 비연속적인 PCLTS 목표 함수 최적화에서 더 뛰어난 수렴성과 안정성을 보였다.
• 여러 데이터셋에 대한 시각적 비교 결과, PCLTS 예측은 높은 오염 수준에서도 진짜 기저 함수를 잘 따르는 것으로 확인되었으며, 반면 표준 LTS 및 표준 ANN 학습은 왜곡된 피팅을 보였다.