[논문 리뷰] LAD Regression and Nonparametric Methods for Detecting Outliers and Leverage Points

Giuseppe Melfi, Susana Faria|arXiv (Cornell University)|2005. 07. 25.

Advanced Statistical Methods and Models참고 문헌 6인용 수 4

한 줄 요약

이 논문은 LAD(최소절대편차) 회귀에서 잔차 및 유도점(outliers and leverage points)을 탐지하기 위한 비모수적이고 강건한 방법을 제안한다. 이 방법은 유일한 부분집합을 제외한 반복 LAD 피팅을 통해 구현되며, L-점수(L-scores, 점수가 LAD 피팅에 포함된 경우의 빈도)와 O-점수(O-scores, 각 부분집합에서 최대 잔차를 가진 점의 빈도)를 계산한다. 이로써 유도점은 높은 L-점수를, 잔차는 높은 O-점수를 가지며, 전통적 방법과 Hadi 기반 방법보다 마스킹 효과가 있는 고유도 상황에서 유도점을 더 잘 탐지한다.

ABSTRACT

The detection of influential observations for the standard least squares regression model is a question that has been extensively studied. LAD regression diagnostics offers alternative approaches whose main feature is the robustness. In this paper a new approach for nonparametric detection of influencial observations in LAD regression models is presented and compared with other classical methods of diagnostics.

연구 동기 및 목표

• 전통적 진단 방법의 한계를 보완하는 영향력 있는 관측치를 탐지하기 위한 강건하고 비모수적인 LAD 회귀 방법을 개발하는 것.
• 표준 방법에서 고유도 점이 존재할 경우 유도점을 식별하는 데 장애가 되는 마스킹 효과를 극복하는 것.
• 안정적이고 해석 가능한 점수를 보장하기 위해 고유한 LAD 해와 비선형성을 가진 점들을 가정하며, 반복된 LAD 피팅을 기반으로 계산 가능하면서도 원칙적인 강건성 조건을 만족하는 방법을 제공하는 것.
• 실제 및 시뮬레이션 데이터셋을 대상으로 제안된 방법을 전통적 방법과 Hadi 기반 진단 방법과 비교하여, 잔차 및 유도점 탐지 성능을 평가하는 것.

제안 방법

• 각 관측치에 대해 전체 데이터의 n-1개 부분집합에 대해 LAD 회귀를 피팅하고, 관측치가 피팅된 초평면 위에 있을 경우 점수 1, 그렇지 않으면 0을 부여한 후, 모든 부분집합에 대해 합산하여 L-점수를 계산한다.
• O-점수도 유사하게 계산되며, 각 부분집합에서 최대 절대 잔차를 가진 관측치에 대해 점수 1을 부여하고, 모든 부분집합에 걸쳐 합산한다.
• 유도점은 높은 L-점수(예: 예상값 p+1보다 현저히 높은 값)로 식별되며, 잔차는 높은 O-점수(예: 예상값 1보다 현저히 높은 값)로 식별된다.
• 해결책은 고유한 LAD 해와 비선형성을 가진 점들을 가정하여 안정적이고 해석 가능한 점수를 보장한다.
• 이 방법은 Splus 코드로 구현되었으며, 실제 데이터셋(Telephone, Hawkins, Scottish)과 시뮬레이션 데이터셋(twovariables, threevariables)에 적용되었다.
• 점수는 랜덤 모델 기반으로 해석되며, E[L(k)] = p+1 및 E[O(k)] = 1 이론적 기준을 제공하여 극단치 식별에 기초를 마련한다.

실험 결과

연구 질문

• RQ1 마스킹 효과가 존재할 경우, 전통적 진단 방법보다 비모수적이고 LAD 기반 방법이 잔차 및 유도점을 더 효과적으로 탐지할 수 있는가?
• RQ2 L-점수와 O-점수는 알려진 영향력 있는 관측치가 포함된 다양한 데이터셋에서 고유도 점과 잔차를 식별하는 데 얼마나 잘 작동하는가?
• RQ3 반복적인 유일 부분집합 LAD 피팅 접근법이 오염에 강건하며, 전통적 방법이 실패하는 경우에 더 나은 탐지 성능을 보이는가?
• RQ4 Hawkins와 같은 병리적 데이터셋에서 제안된 방법은 Hadi의 방법과 비교해 병합된 잔차 및 유도점을 탐지하는 데 얼마나 효과적인가?
• RQ5 고유도 점이 존재할 경우, 제안된 방법은 잔차 탐지 민감도를 얼마나 유지하는가?

주요 결과

• ‘Telephone’ 데이터셋에서 제안된 방법은 사례 17–20의 네 개의 모든 유도점을 성공적으로 탐지했으며, 전통적 방법과 Hadi 기반 방법은 마스킹로 인해 사례 19와 20를 놓쳤다.
• ‘Hawkins’ 데이터셋에서, 방법은 10개의 유도점 중 7개(11–14)와 7개의 유도점(3–6, 9, 10, 13)을 탐지했으며, 높은 마스킹 효과가 존재함에도 불구하고 뛰어난 성능을 보였다.
• ‘Scottish’ 데이터셋에서, 세 방법 모두 관측치 7과 18을 유도점으로 정확히 식별했으며, 제안된 방법은 관측치 33만을 고유도 점으로 유일하게 탐지했다.
• 시뮬레이션된 ‘twovariables’ 데이터셋에서, 방법은 모든 세 개의 유도점(54–56)과 오직 하나의 유도점(52)만을 탐지했으며, 전통적 방법과 Hadi 방법은 세 개의 유도점 모두를 잘못 탐지했다.
• ‘threevariables’ 데이터셋에서, 방법은 모든 세 개의 유도점(51–53)과 4개의 유도점(9, 37, 54–56)을 정확히 탐지했으며, 전통적 방법과 Hadi 방법은 일부 유도점을 놓쳤다.
• 제안된 방법은 표준 하드웨어에서 계산 가능성을 입증했으며, 테스트된 데이터셋에 대해 실행 시간이 몇 초 내로 이루어졌으며, 공개된 Splus 구현체를 통해 이용 가능하다.