[논문 리뷰] Using Fisher Information In Big Data

Nasir Ahmad, Sybil Derrible외 2명|arXiv (Cornell University)|2015. 07. 01.

Complex Systems and Time Series Analysis참고 문헌 31인용 수 15

한 줄 요약

이 논문은 피셔 정보(Fisher Information, FI)를 사용하여 빅데이터 트렌드를 분석하고 시스템의 불안정성, 특히 제도 전환을 탐지하는 도구로 제안한다. 1960–2013년 기간 동안의 미국 인당 국내총생산(GDP per capita)과 인구의 시계열 데이터로부터 FI를 계산하여, 저자들은 동적 질서와 안정성 변화를 포착할 수 있음을 입증한다. 이는 복잡한 데이터셋에서 체계적 전환을 식별하는 데 있어 FI가 강력한 측정 도구임을 보여준다.

ABSTRACT

In this era of Big Data, proficient use of data mining is the key to capture useful information from any dataset. As numerous data mining techniques make use of information theory concepts, in this paper, we discuss how Fisher information (FI) can be applied to analyze patterns in Big Data. The main advantage of FI is its ability to combine multiple variables together to inform us on the overall trends and stability of a system. It can therefore detect whether a system is losing dynamic order and stability, which may serve as a signal of an impending regime shift. In this work, we first provide a brief overview of Fisher information theory, followed by a simple step-by-step numerical example on how to compute FI. Finally, as a numerical demonstration, we calculate the evolution of FI for GDP per capita (current US Dollar) and total population of the USA from 1960 to 2013.

연구 동기 및 목표

• 빅데이터에서 흔히 볼 수 있는 대규모 복잡한 데이터셋 분석에 피셔 정보(FI)를 적용하는 방법을 조사하는 것.
• FI가 동적 질서 상실과 시스템 불안정성을 탐지할 수 있는 능력을 입증하는 것. 이는 잠재적 제도 전환 신호를 제공한다.
• 실제 데이터 환경에서 FI를 계산하는 실용적이고 단계적인 방법을 제공하는 것.
• 실제 경제 및 인구 시계열 데이터(인당 국내총생산 및 총인구)에 대한 FI 성능을 평가하는 것.

제안 방법

• 논문은 확률 분포 내 통계적 정보의 척도로 피셔 정보 이론을 도입한다.
• 연속 확률 밀도 함수에 대해 피셔 정보를 유도하며, 스코어 함수와 그 분산을 사용한다.
• 간단한 분포에 대한 FI 계산의 단계별 과정을 보여주는 수치 예제를 제공한다.
• 실제 시계열 데이터에 적용된 방법: 1960~2013년 기간 동안의 미국 인당 국내총생산(현재 미국 달러 기준) 및 총인구.
• 각 시점에서 데이터의 경험적 확률 밀도를 사용하여 피셔 정보를 계산함으로써 분포 형태의 변화를 포착한다.
• 시간에 따른 FI의 변화를 시각화하여 시스템 안정성과 동적 질서의 추세를 평가한다.

실험 결과

연구 질문

• RQ1 빅데이터 맥락에서 피셔 정보는 어떻게 효과적으로 계산되고 해석될 수 있는가?
• RQ2 피셔 정보는 복잡한 시스템의 시계열 데이터에서 체계적 불안정성 또는 제도 전환을 탐지할 수 있는가?
• RQ3 피셔 정보는 인당 국내총생산 및 인구와 같은 경제 및 인구 통계 데이터에 적용되었을 때 어떤 통찰을 제공하는가?
• RQ4 피셔 정보의 변화가 시간에 따라 변화하는 근본적인 데이터 생성 과정을 어떻게 반영하는가?

주요 결과

• 피셔 정보는 미국 경제 및 인구의 동적 질서와 안정성 변화를 시간에 따라 효과적으로 포착한다.
• 인당 국내총생산 및 총인구에 대한 계산된 피셔 정보 값은 시스템 안정성의 증가 또는 감소를 나타내는 명확한 추세를 보인다.
• 이 방법은 전통적인 요약 통계가 그대로 유지되는 동안에도 빅데이터에서의 구조적 변화 또는 제도 전환을 탐지할 수 있음을 드러낸다.
• 수치 예제를 통해 적절한 밀도 추정이 이루어진 경우, 실세계 데이터셋에 대한 FI 계산이 실현 가능하고 해석 가능한 것으로 확인된다.