[논문 리뷰] Statistical Consequences of Fat Tails: Real World Preasymptotics, Epistemology, and Applications

Nassim Nicholas Taleb|arXiv (Cornell University)|2020. 01. 24.

Probability and Risk Models인용 수 20

한 줄 요약

이 논고는 비틀림 꼬리 통계 방법의 오용을 비틀림 꼬리 세계에서 도전하며, 전통적인 渐近 이론이 실제 세계의 전점근적 영역에서 실패함을 보여준다. 중간 수의 현상에서 통계적 행동을 이해하기 위한 프레임워크를 제시하며, 표준 도구인 표본 평균, 경험 분포, 차원 축소가 비틀림 꼬리 하에서 체계적으로 실패함을 드러내며, 금융, 리스크 관리, 행동 과학 전반에 걸쳐 영향을 미친다.

ABSTRACT

(The third edition corrects minor typos and adds 3 chapters synthesized from published papers plus an appendix on maximum entropy distributions.) The monograph investigates the misapplication of conventional statistical techniques to fat tailed distributions and looks for remedies, when possible. Switching from thin tailed to fat tailed distributions requires more than "changing the color of the dress". Traditional asymptotics deal mainly with either n=1 or $n=\infty$, and the real world is in between, under of the "laws of the medium numbers" --which vary widely across specific distributions. Both the law of large numbers and the generalized central limit mechanisms operate in highly idiosyncratic ways outside the standard Gaussian or Levy-Stable basins of convergence. A few examples: + The sample mean is rarely in line with the population mean, with effect on "naive empiricism", but can be sometimes be estimated via parametric methods. + The "empirical distribution" is rarely empirical. + Parameter uncertainty has compounding effects on statistical metrics. + Dimension reduction (principal components) fails. + Inequality estimators (GINI or quantile contributions) are not additive and produce wrong results. + Many "biases" found in psychology become entirely rational under more sophisticated probability distributions + Most of the failures of financial economics, econometrics, and behavioral economics can be attributed to using the wrong distributions. This book, the first volume of the Technical Incerto, weaves a narrative around published journal articles.

연구 동기 및 목표

• 비틀림 꼬리 분포에 적용되는 얇은 꼬리 통계 방법—예를 들어 중심극한정리—의 기본적인 결함을 드러내는 것.
• 실제 세계는 '중간 수의 법칙'에 따라 작동하며, 여기서는 n=1이나 n=∞가 적용되지 않아 표준 渐近 추론이 무효화됨을 확립하는 것.
• 표본 평균, 경험 분포, 매개변수 추정, 차원 축소와 같은 일반적인 통계 도구가 비틀림 꼬리 분포 하에서 실패하거나 오도함을 보여주는 것.
• 비틀림 꼬리 불확실성 하에서 일반적으로 '편향'으로 간주되는 심리적 반응이 실질적으로 합리적인 반응임을 재평가하며 행동경제학의 가정에 도전하는 것.
• 비틀림 꼬리 하에서 리스크 관리와 경험적 추론을 위한 기술적 기반을 제공하여, 경제계량학과 금융 분야에서 널리 퍼져 있는 오용을 바로잡는 것.

제안 방법

• n=1과 n=∞ 사이의 전점근적 영역에서 통계 추정기의 행동을 분석하며, 비정규, 비틀림 꼬리 분포에 중점을 둔다.
• 출판된 학술 논문과 이론적 유도를 사용하여 표준 渐近 결과와 안정분포 및 멱법칙 분포 하에서의 실제 유한표본 행동을 대비한다.
• 비틀림 꼬리 하에서 모집단 평균을 추정하기 위해 매개변수적 방법을 적용하며, 표본 평균이 종종 진정한 평균과 일치하지 않음을 보여준다.
• 극단가치 지배와 수렴 불가능성으로 인해 비틀림 꼬리 하에서 경험 분포가 실제로 경험적이지 않음을 입증한다.
• 비틀림 꼬리 설정에서 매개변수 불확실성의 복합 효과가 통계 지표에 미치는 영향을 이해하기 위한 프레임워크를 도입한다.
• 비틀림 꼬리 분포에 기인한 일반적인 통계적 실패—예를 들어, 가산성 없는 불평등 측도(예: GINI)와 실패한 주성분 분석—을 비틀림 꼬리 분포의 본질적 특성으로 재해석한다.

실험 결과

연구 질문

• RQ1 왜 전통적인 통계 기법들이 실제 세계에서 비틀림 꼬리 분포에 적용될 때 체계적으로 실패하는가?
• RQ2 n이 1이나 ∞가 아닐 때, 즉 전점근적 영역에서 통계 추정기의 행동은 어떻게 변화하는가?
• RQ3 심리학적 '편향'이 비틀림 꼬리 불확실성 하에서 실제로 합리적인 반응인 정도는 어느 정도인가?
• RQ4 왜 표준 차원 축소 기법—예를 들어 주성분 분석—이 비틀림 꼬리 분포 하에서 실패하는가?
• RQ5 기초 분포가 정규분포나 얇은 꼬리가 아닐 경우, 리스크 모델과 경험적 추론은 어떻게 수정할 수 있는가?

주요 결과

• 비틀림 꼬리 분포 하에서 표본 평균은 거의 항상 모집단 평균과 일치하지 않으며, 이는 난이도 있는 민간 경험을 뒤흔든다.
• 극단가치 지배와 수렴 불가능성으로 인해 비틀림 꼬리 설정에서는 경험 분포가 실제로 경험적이지 않다.
• 비틀림 꼬리 영역에서 매개변수 불확실성이 복합화되어 분산과 신뢰구간과 같은 핵심 통계 지표를 왜곡한다.
• 주성분 분석과 같은 차원 축소 기법은 공분산 행렬의 고유구조가 비틀림 꼬리 하에서 불안정해지기 때문에 실패한다.
• GINI와 같은 불평등 측도와 분위수 기여도는 비틀림 꼬리 하에서 가산성이 없어, 재정 및 리스크 분석에서 체계적인 오류를 초래한다.
• 많은 행동경제학에서 '인지 편향'으로 간주되는 현상들은 비틀림 꼬리 분포를 적절히 고려할 경우 실질적으로 합리적인 반응이지, 비합리적인 행동이 아니다.