[논문 리뷰] Origins of Modern Data Analysis Linked to the Beginnings and Early Development of Computer Science and Information Engineering

Fionn Murtagh|ArXiv.org|2008. 11. 15.

Computability, Logic, AI Algorithms참고 문헌 34인용 수 4

한 줄 요약

이 논문은 현대 데이터 분석의 기원을 컴퓨터 과학 및 정보 공학의 초기 발전으로 거슬러 올라가며, 특히 대규모 데이터 시대 이전에 이미 존재했던 구조적 분석과 인코딩 중심의 탐색적 데이터 분석이 현대 데이터 과학의 기초가 되었다고 강조한다. 이는 벤제크리, 고델과 같은 인물들이 개발한 대응 분석 및 다변량 기법이, 사전 모델에 얽매이지 않고 구조적 특성과 인코딩에 초점을 맞추어 복잡한 데이터에 깊이 있는 통찰을 가능하게 했다는 점을 주장한다.

ABSTRACT

The history of data analysis that is addressed here is underpinned by two themes, -- those of tabular data analysis, and the analysis of collected heterogeneous data. "Exploratory data analysis" is taken as the heuristic approach that begins with data and information and seeks underlying explanation for what is observed or measured. I also cover some of the evolving context of research and applications, including scholarly publishing, technology transfer and the economic relationship of the university to society.

연구 동기 및 목표

• 현대 데이터 분석의 지적적·기술적 근원을 컴퓨터 과학 및 정보 공학의 초기 발전 시기로 거슬러 올라가 추적하는 것.
• 특히 비지도 학습 기법인 대응 분석과 같은 탐색적 데이터 분석이 대규모 데이터 시대 이전에도 과학적 발견의 핵심이 되었음을 주장하는 것.
• 상관관계만으로도 과학적 진전이 충분하다는 개념을 도전하며, 데이터 분석가와 영역 전문가 간의 협력이 필수적이라고 주장하는 것.
• 모델 중심 과학에서 데이터 중심 과학으로의 인지론적 전환, 특히 현대 검색 엔진과 머신러닝의 맥락에서의 변화를 강조하는 것.
• 기존의 가설 검증 방식이 실패하는 상황에서, 초기의 데이터 인코딩 및 구조적 분석 기법이 어떻게 통찰을 가능하게 했는지 보여주는 것.

제안 방법

• 19세기에서 1985년까지의 데이터 분석 발전 이력을 분석하며, 벤제크리, 고델, 뉴턴과 같은 핵심 인물들을 중심으로 다룬다.
• VDI 기술 어휘사전과 천체도 프로젝트 사례를 통해 수동적 데이터 수집의 한계를 설명한다.
• 바디우, 보크스, 노르비그의 철학적·인지론적 사유를 인용하여 데이터가 과학적 발견에서 차지하는 역할을 프레임워크화한다.
• 다양한 이질적 데이터에 숨겨진 구조를 드러내는 데 핵심적인 역할을 하는 대응 분석을 강조한다.
• 지도 학습 및 판별 분석과는 대비되어, 탐색적 분석의 주요 방식인 비지도 분류(데이터 마이닝)를 분석한다.
• 시각적·분류 기반 데이터 정렬 방식에서 페타바이트 시대의 차원에 구애받지 않는 수학적 우선 원칙 기반 데이터 처리로의 전환을 분석한다.

실험 결과

연구 질문

• RQ1 초기 컴퓨터 과학과 정보 공학은 어떻게 현대 데이터 분석의 기초를 마련했는가?
• RQ2 탐색적 데이터 분석은 어떻게 현대 데이터 과학과 검색 기술의 발전을 선도했으며, 이를 뒷받침했는가?
• RQ3 VDI 어휘사전과 천체도 프로젝트와 같은 대규모 데이터 수집 노력은 왜 막대한 데이터 축적에도 실패했는가?
• RQ4 현대 검색 엔진이 주장하는 바와 같이, 상관관계가 과학적 발견에서 인과관계를 대체할 수 있는 정도는 어느 정도인가?
• RQ5 적절한 데이터 인코딩과 구조적 분석을 통해 데이터 분석가는 어떻게 과학적 발견의 동등한 파artner가 될 수 있는가?

주요 결과

• VDI 기술 어휘사전 프로젝트의 실패는 데이터 부족 때문이 아니라, 알파벳 인덱싱에 의존하여 주제 기반 체계적 정렬이 불가능해지면서 발생했다.
• 천체도 프로젝트는 수작업으로 필름 플레이트를 분석하는 데에 드는 비효율성으로 인해 포기당했다. 이는 자동화된 알고리즘 기반 데이터 처리의 필요성을 드러낸다.
• 대응 분석은 사전 가설 없이 다변량 데이터 내 숨겨진 패턴을 탐지할 수 있어, 탐색적 분석의 강력한 도구가 된다.
• 머신러닝의 발전에도 불구하고, 많은 데이터 분석 문제들이 데이터 인코딩과 구조에 대한 올바른 이해가 부족하여 해결되지 못하고 있다.
• 구글의 검색 인프라가 상징하는 가설 중심 과학에서 데이터 중심 상관관계 기반 발견으로의 전환은 과학적 탐구 방식을 변화시켰지만, 설명 모델의 필요성을 완전히 대체하지는 못했다.
• 데이터 분석가가 과학적 발견의 동등한 공모자(코디스커버러)가 되기 위해서는 데이터 인코딩에 깊이 관여해야 하며, 이는 대응 분석이 복잡한 데이터 세트의 근본적인 구조를 드러내는 데 잠재력을 지닌다는 점에서 입증된다.