[논문 리뷰] Quantifying the Unexpected: a scientific approach to Black Swans

Giordano De Marzo, Andrea Gabrielli외 2명|arXiv (Cornell University)|2022. 01. 28.

Complex Systems and Time Series Analysis인용 수 4

한 줄 요약

이 논문은 지프-만델브로트 힘법 분포와 그 상한선의 동역학을 사용하여 극단적 사건을 화이트, GREY, 또는 블랙 스완으로 분류하는 정량적 프레임워크를 제안한다. 새로운 지표인 '블랙니스'를 정의함으로써, 관측된 최대치를 초월하고 추정된 상한선을 초과하는 사건을 블랙 스완으로 식별한다. 이는 터키 항공 981편과 리오넬 메시의 골 기록이 그들의 기저 분포의 상한선이 급격히 증가함에 따라 블랙 스완임을 드러낸다.

ABSTRACT

Many natural and socio-economic systems are characterized by power-law distributions that make the occurrence of extreme events not negligible. Such events are sometimes referred to as Black Swans, but a quantitative definition of a Black Swan is still lacking. Here, by leveraging on the properties of Zipf-Mandelbrot law, we investigate the relations between such extreme events and the dynamics of the upper cutoff of the inherent distribution. This approach permits a quantification of extreme events and allows to classify them as White, Grey, or Black Swans. Our criterion is in accordance with some previous findings, but also allows us to spot new examples of Black Swans, such as Lionel Messi and the Turkish Airline Flight 981 disaster. The systematic and quantitative methodology we developed allows a scientific and immediate categorization of rare events, providing also new insight into the generative mechanism behind Black Swans.

연구 동기 및 목표

• 복잡한 시스템에서 블랙 스완 사건에 대한 정량적 정의가 부족한 문제를 해결하기 위해.
• 통계적 이질점 이상으로 완전히 예측 불가능하고 영향력이 큰 극단적 사건이 발생하는 조건을 규명하기 위해.
• 백서 기반의 데이터 기반 방법을 개발하여 극단적 사건을 화이트, 그레이, 또는 블랙 스완으로 분류하기 위해.
• 블랙 스완은 본질적인 힘법만으로 발생하는 것이 아니라, 이러한 분포의 상한선에서의 비정상적 동역학에 기인한다는 것을 입증하기 위해.
• 사회경제적 및 자연 시스템에서 리스크 평가를 위한 체계적이고 재현 가능한 기준을 제공하기 위해.

제안 방법

• 극단적 사건을 지프-만델브로트 힘법 분포로 모델링하여 시스템의 크기 분포에서의 본질적 상한선을 추정한다.
• 사건의 크기와 추정된 상한선의 비율을 함수로 하는 새로운 지표인 '블랙니스'를 정의함으로써 정량적 분류를 가능하게 한다.
• 다양한 시스템(예: 대유행, 재난, 금융 지수)의 역사적 데이터를 분석하여 시간에 따라 상한선이 급증하는지 탐지한다.
• 신뢰구간과 경험적 피팅을 사용하여 추정된 상한선을 통계적으로 신뢰할 수 있게 하며, 특히 샘플 수가 부족한 시스템에서 유용하다.
• 관측된 사건 크기를 추정된 상한선과 비교하여 실제 사건이 블랙 스완으로 분류되는지 판단함으로써 프레임워크를 실제 사례에 적용한다.
• 기술적 발전, 제도적 변화 등의 맥락적 요소를 통합하여 상한선 급증을 설명하고, 잠재적 블랙 스완의 조기 탐지 가능성을 높인다.

실험 결과

연구 질문

• RQ1 힘법 분포 시스템에서 블랙 스완과 그레이 스완을 어떻게 구분할 수 있으며, 이를 과학적으로 어떻게 정량화할 수 있는가?
• RQ2 힘법 분포의 상한선에서 발생하는 급증이 언제 블랙 스완 사건으로 이어지는가?
• RQ3 9/11이나 제1차 세계대전과 같은 역사적 사건의 블랙 스완 성격을 경험적 자료와 통계 모델링을 통해 객관적으로 확인할 수 있는가?
• RQ4 시스템의 역사적 자료 샘플링 수준이 블랙 스완를 그레이 스완으로 잘못 분류할 가능성을 어떻게 영향을 미치는가?
• RQ5 현재의 상한선 추정치와 신뢰구간을 바탕으로 향후 어떤 극단적 사건이 블랙 스완으로 분류될 수 있는가?

주요 결과

• 1974년 이전 데이터를 바탕으로 추정된 상한선 200명의 사망자를 초월한 터키 항공 981편의 참사(346명 사망)는 추정된 상한선을 초과하므로 블랙 스완으로 분류된다.
• 리오넬 메시의 라리가 골 기록은 리그에 소속된 팀 수 증가와 관련된 상한선의 급격한 증가로 인해 블랙 스완으로 확인된다.
• 1987년 블랙 먼데이 주식시장 폭락은 수익률 분포의 추정 상한선을 초과하지 않았기 때문에 블랙 스완이 아니라 그레이 스완으로 분류된다.
• 이탈리아 지진의 경우, 1693년 발디노토 지진(7.32 Mw)의 에너지의 1.23배를 방출하는 미래의 지진은 분포가 잘 샘플링되어 있어 블랙 스완으로 분류된다.
• 대유행의 경우, 흑사병의 40배에 해당하는 약 58억 명의 사망을 초래하는 미래의 대유행만이 블랙 스완으로 분류될 수 있으며, 이는 역사적 샘플링 수가 낮기 때문이다.
• 이 프레임워크는 다우존스 지수나 내전과 같이 샘플링 수가 부족한 시스템에서는 블랙 스완을 생성할 수 없으며, 모든 극단적 사건이 추정된 상한선 범위 내에 머무르기 때문에 그레이 스완으로만 분류된다는 점을 보여준다.