[논문 리뷰] Extreme Value Analysis Without the Largest Values: What Can Be Done?

Jingjing Zou, Richard A. Davis외 1명|arXiv (Cornell University)|2017. 12. 20.

Complex Network Analysis Techniques인용 수 3

한 줄 요약

이 논문은 헤비테일 데이터에서 누락된 극단적 값을 고려하기 위해 수치적 모수로 미관측 극단적 값의 수를 모델링하는 기능적 힐 추정기, HEWE를 제안한다. 이는 가우시안 과정으로의 기능적 수렴을 확립하고, 꼬리 지수, 편향, 누락된 극단적 값 수의 동시 추정을 가능하게 하며, 시뮬레이션과 실세계의 소셜 네트워크 데이터를 통해 누락 시 존재할 경우 파rameter 추정의 향상이 뚜렷하게 이루어짐을 검증한다.

ABSTRACT

In this paper we are concerned with the analysis of heavy-tailed data when a portion of the extreme values is unavailable. This research was motivated by an analysis of the degree distributions in a large social network. The degree distributions of such networks tend to have power law behavior in the tails. We focus on the Hill estimator, which plays a starring role in heavy-tailed modeling. The Hill estimator for this data exhibited a smooth and increasing "sample path" as a function of the number of upper order statistics used in constructing the estimator. This behavior became more apparent as we artificially removed more of the upper order statistics. Building on this observation we introduce a new version of the Hill estimator. It is a function of the number of the upper order statistics used in the estimation, but also depends on the number of unavailable extreme values. We establish functional convergence of the normalized Hill estimator to a Gaussian process. An estimation procedure is developed based on the limit theory to estimate the number of missing extremes and extreme value parameters including the tail index and the bias of Hill's estimator. We illustrate how this approach works in both simulations and real data examples.

연구 동기 및 목표

• 데이터셋의 가장 큰 관측치가 누락되거나 관측되지 않을 경우 극단가치 모수를 추정하는 데 도전하는 것.
• 누락된 극단적 값의 수와 헤비테일 분포에서 꼬리 지수를 동시에 추정할 수 있는 통계적 프레임워크를 개발하는 것.
• 표본 경로가 일반적으로 변동성이 큰 패턴을 보이는 것과는 달리, 극단적 값이 누락될 경우 힐 추정기의 행동을 모델링하는 것.
• 적절한 정규화 조건 하에서 기능적 수렴이 가우시안 과정로 수렴하는 새로운 추정기의 점근적 이론을 확립하는 것.
• 실제 데이터 응용을 위한 실용적인 추정 절차와 계산 도구를 제공하는 것. 이는 소셜 네트워크의 degree 분포 및 자연재해 데이터를 포함한다.

제안 방법

• θ는 상위 순서통계량의 비율이고 δ는 누락된 극단적 값의 비율인 이중파ram터 기능적 힐 추정기 HEWE(θ;δ)를 제안한다.
• 정규화된 추정기의 점근적 분포를 도출하기 위해, 브라운 운동과 누락된 극단적 값으로 인한 편향 항을 포함하는 기능적 극한으로 모델링한다.
• Komlós–Major–Tusnády 근사법을 사용하여 경험과정을 브라운 운동과 연결함으로써, 한계 가우시안 과정의 유도를 가능하게 한다.
• 정규화된 HEWE의 기능적 수렴을 δ와 θ에 따라 결정되는 특정 공분산 구조를 가진 가우시안 과정으로 확립한다.
• 정규화된 극단적 값의 영향을 반영하는 점근적 편향 항 II를 유도하며, 이는 정규화 지수 ρ와 스케일링 함수 A(n/kn)에 의해 결정된다. 이 스케일링 함수는 정규화 조건 하에서 O(1/√kn) 속도로 감소한다.
• 한계 이론에 기반한 추정 절차를 개발하여 관측된 데이터로부터 δ(누락된 극단적 값 수), γ(꼬리 지수), 편향 파라미터를 추정한다.

실험 결과

연구 질문

• RQ1 가장 큰 값들이 누락된 데이터셋에 대해 힐 추정기를 적응시킬 수 있는가. 특히 누락된 극단적 값의 수가 알려져 있지 않을 경우에도 가능한가?
• RQ2 상위 순서통계량이 체계적으로 제거될 경우 힐 추정기의 이론적 행동은 어떻게 되는가?
• RQ3 꼬리 지수와 함께 누락된 극단적 값의 수를 어떻게 추정할 수 있는가?
• RQ4 누락된 극단적 값이 존재할 경우 기능적 힐 추정기의 점근적 분포는 무엇이며, 이를 추론에 활용할 수 있는가?
• RQ5 제안된 방법은 극단적 값이 관측되지 않을 수 있는 실세계의 헤비테일 데이터(예: 소셜 네트워크의 degree 분포)에 적용할 수 있는가?

주요 결과

• 기능적 힐 추정기 HEWE(θ;δ)는 θ와 δ에 따라 달라지는 비퇴도 공분산을 가진 가우시안 과정으로 약한 수렴을 보이며, 통계적 추론이 가능하다.
• 누락된 극단적 값이 존재할 경우 힐 추정기의 편향은 A(n/kn)에 비례하며, 이는 δ와 θ에 대한 함수와 곱해진다. 정규화 조건 하에서 스케일링 함수 A(n/kn)는 O(1/√kn) 속도로 감소한다.
• 시뮬레이션에서 이 방법은 누락된 극단적 값 수 δ와 꼬리 지수 γ를 성공적으로 추정하며, 최대 10%의 가장 큰 값들이 제거된 경우에도 정확한 복원이 이루어진다.
• Google+ 소셜 네트워크 데이터에서는 관측된 매끄럽고 증가하는 힐 플롯이 고도수 노드의 누락으로 인해 발생하며, 모델은 약 1,000~2,000개의 극단적 인-degree 값이 관측되지 않았다고 추정한다.
• R Shiny 웹 애플리케이션을 통해 실시간 파라미터 추정과 상호작용 가능한 시각화가 가능하며, 사용자는 극단적 값의 누락을 시뮬레이션하고 제거 전후의 추정 성능을 비교할 수 있다.
• 누락된 극단적 값이 존재할 경우 기존의 표준 힐 추정보다 이 방법이 더 우수하며, 후자의 경우 상부 꼬리 부분이 없어져 k 선택에 대한 안정된 영역을 식별하지 못한다.