[논문 리뷰] Functional Outlier Detection and Taxonomy by Sequential Transformations

Wenlin Dai, Tomáš Mrkvička외 2명|arXiv (Cornell University)|2018. 08. 16.

Advanced Statistical Methods and Models참고 문헌 22인용 수 7

한 줄 요약

이 논문은 기능적 형태 이상치를 탐지하고 분류하기 위해 순차적 변환 기반 방법을 제안한다. 이 방법은 형태 이상치를 크기 이상치로 변환한 후 기능 상자 그림을 사용하여 이를 식별한다. 이 접근법은 다중 변환을 통해 직관적인 이상치 분류 체계를 제공하며, 기능적 인덱스 간의 공동 이상도를 활용하여 탐지 능력을 향상시킨다.

ABSTRACT

Functional data analysis can be seriously impaired by abnormal observations, which can be classified as either magnitude or shape outliers based on their way of deviating from the bulk of data. Identifying magnitude outliers is relatively easy, while detecting shape outliers is much more challenging. We propose turning the shape outliers into magnitude outliers through data transformation and detecting them using the functional boxplot. Besides easing the detection procedure, applying several transformations sequentially provides a reasonable taxonomy for the flagged outliers. A joint functional ranking, which consists of several transformations, is also defined here. Simulation studies are carried out to evaluate the performance of the proposed method using different functional depth notions. Interesting results are obtained in several practical applications.

연구 동기 및 목표

• 기존 방법으로는 탐지하기 어려운 기능 데이터 내 형태 이상치를 탐지하는 데 도전한다.
• 알 수 없는 깊이 분포와 해석 불가능성으로 인해 기존 기능 깊이 방법이 형태 이상치를 다루는 데 어려움을 겪는 문제를 해결한다.
• 다양한 변환을 거쳐 형태 이상치를 탐지 가능한 크기 이상치로 변환하는 체계적 프레임워크를 개발한다.
• 적용된 변환 유형과 순서에 기반한 그래픽적이고 해석 가능한 기능 이상치 분류 체계를 제공한다.
• 다양한 기능 인덱스를 결합하고 공동 이상도 패tern을 활용하여 탐지력과 내성력을 향상시킨다.

제안 방법

• 일阶 차분, 도함수, 평균 중심화 등의 순차적 데이터 변환을 적용하여 형태 이상치를 크기 이상치로 변환한다.
• 기능 상자 그림을 사용해 변환된 데이터에서 크기 이상치를 탐지하며, 수정된 밴드 깊이 또는 기타 깊이 개념을 활용한다.
• 다양한 시각에서 이상치가 되는 곡선을 식별하기 위해 다중 변환을 활용한 공동 기능 순위를 구성한다.
• 변환된 데이터를 사용해 글로벌 봉투 검정을 수행하여 다양한 유형의 기능적 이탈에 민감도를 향상시킨다.
• L^{\infty} 깊이 및 극단적 순위 길이 깊이를 활용해 변환된 곡선에서 중심 영역을 정의하고 이상치를 탐지한다.
• 다양한 기능 인덱스의 국소 이상도를 조합하여 개별 구성 요소에서는 보이지 않는 공동 이상 현상을 탐지한다.

실험 결과

연구 질문

• RQ1 기능 데이터 내 형태 이상치를 체계적으로 크기 이상치로 변환하여 탐지 가능성을 향상시킬 수 있는가?
• RQ2 순차적 변환은 기능 이상치의 해석 가능성과 분류에 어떻게 기여하는가?
• RQ3 제안된 방법은 단일 기능 인덱스에서 이상치로 나타나지 않는 공동 이상치를 탐지하는 데 얼마나 효과적인가?
• RQ4 다양한 변환과 기능 상자 그림의 조합은 단변량 또는 국소 접근법보다 탐지 능력을 얼마나 향상시키는가?
• RQ5 데이터 변환은 다양한 대안에 대해 글로벌 봉투 검정의 강건성을 얼마나 강화하는가?

주요 결과

• 제안된 방법은 일阶 차분 또는 평균 중심화를 통해 기형적인 기울기나 점프를 보이는 형태 이상치를 성공적으로 크기 이상치로 변환한다.
• 온도 및 강수량 곡선과 같은 다수의 기능 인덱스에서 공동 이상도를 통해 탐지된 이상치는 각각의 인덱스를 별도로 분석할 경우 자주 간과된다.
• 부드러운 겨울과 작은 연간 변동성을 보이는 카나리아 군도 기상 관측소의 경우, 로그 강수량 곡선의 정보를 통합할 때에만 형태 이상치로 간주된 온도 곡선이 탐지되었다.
• 단일 인덱스에서 크기 이상치로 표시되지 않았지만, 다섯 개의 공동 이상치가 식별되어 복잡한 상호작용 기반 이상 현상이 존재하는 것으로 확인되었다.
• 변환 $\mathcal{T}_0$, $\mathcal{T}_1$, 및 $\mathcal{T}_2$의 조합은 시뮬레이션과 실제 데이터 응용에서 대부분의 현실적인 기능 이상치를 효과적으로 포착함을 검증하였다.
• 변환 기반 진단을 통해 글로벌 봉투 검정의 민감도가 다양한 기능적 이탈에 대해 향상되어, 검정의 탐지 능력이 강화됨을 확인하였다.