[論文レビュー] Origins of Modern Data Analysis Linked to the Beginnings and Early Development of Computer Science and Information Engineering

Fionn Murtagh|ArXiv.org|Nov 15, 2008

Computability, Logic, AI Algorithms参考文献 34被引用数 4

ひとこと要約

この論文は、現代のデータ分析のルーツをコンピュータサイエンスおよび情報工学の初期の発展にさかのぼり、探索的データ分析を、現代のデータサイエンスを支える基盤的アプローチであると強調している。特に、ベンゼクラーやゴーデルらが提唱した対応分析や多変量解析などの技術が、ビッグデータの時代以前においても、事前のモデルにとらわれず構造と符号化に注目することで、複雑なデータに対する深い洞察を可能にしたと主張している。

ABSTRACT

The history of data analysis that is addressed here is underpinned by two themes, -- those of tabular data analysis, and the analysis of collected heterogeneous data. "Exploratory data analysis" is taken as the heuristic approach that begins with data and information and seeks underlying explanation for what is observed or measured. I also cover some of the evolving context of research and applications, including scholarly publishing, technology transfer and the economic relationship of the university to society.

研究の動機と目的

• 現代のデータ分析の知的・技術的ルーツを、コンピュータサイエンスおよび情報工学の草創期にさかのぼってたどること。
• 探索的データ分析、特に対応分析のような非監視的手法が、ビッグデータ以前の段階においても、科学的発見の中心的役割を果たしていたことを主張すること。
• 相関関係だけが科学的進歩をもたらすという考えを疑問視し、データアナリストと分野専門家との協働を提唱すること。
• モデル主導の科学からデータ主導の科学への認識論的転換を強調し、特に現代の検索エンジンや機械学習の文脈でその意義を浮き彫りにすること。
• 初期のデータ符号化および構造的分析手法が、従来の仮説検証では失敗する状況においても、洞察を可能にしたことを示すこと。

提案手法

• 19世紀から1985年までのデータ分析の歴史的発展を分析し、ベンゼクラーやゴーデル、ニュートンらの重要な人物に焦点を当てる。
• VDI技術用語集や「カルト・デュ・シエル」計画といった事例研究を通じて、構造的分析が欠如した手作業によるデータ収集の限界を示す。
• バディウ、ボックス、ノーヴィグらの思想を援用し、哲学的・認識論的視点からデータが科学的発見に果たす役割を枠組みづける。
• 対応分析を、異種で多変量のデータに隠れた構造を明らかにするための核心的メソッドとして強調する。
• 教師あり学習や判別分析と、探索的分析の主要なモードたる非監視分類（データマイニング）を対比する。
• 視覚的・分類的データ整理から、次元に依存しない数学的アプローチを重視するデータ処理への移行、特にペタバイト時代における変化を検討する。

実験結果

リサーチクエスチョン

• RQ1 初期のコンピュータサイエンスおよび情報工学は、現代のデータ分析の基盤をどのように形作ったのか？
• RQ2 探索的データ分析は、どのようにして現代のデータサイエンスおよび検索技術の発展を先取りし、支えたのか？
• RQ3 VDI用語集やカルト・デュ・シエル計画のような大規模データ収集プロジェクトが、膨大なデータ蓄積にもかかわらず失敗した理由は何か？
• RQ4 現代の検索エンジンが示唆するように、相関関係は科学的発見において原因関係を代替できるのか、その程度はどの程度か？
• RQ5 適切なデータ符号化と構造的分析を通じて、データアナリストが科学的発見の主要な共同探求者になれるか、その方法は何か？

主な発見

• VDI技術用語集プロジェクトの失敗は、データ不足によるものではなく、アルファベットインデックスに依存していたためであり、主題ベースで体系的な整理が求められる時代にすでに陳腐化していた。
• カルト・デュ・シエル計画の放棄は、手作業によるフィルムプレート分析の非効率性に起因しており、自動化されたアルゴリズム的データ処理の必要性を浮き彫りにした。
• 対応分析は、事前の仮説なしに多変量データに隠れたパターンを検出可能であり、探索的分析の強力なツールである。
• 機械学習の進展にもかかわらず、多くのデータ分析問題が、データ符号化と構造の理解が不十分であるがために未解決のままである。
• Googleの検索インfraストラクチャが示すように、仮説主導の科学からデータ主導の相関に基づく発見への移行は、科学的探求を変容させたが、説明的モデルの必要性を排除したわけではない。
• データアナリストが科学的発見の共発見者になれるのは、データ符号化に深く関与した場合に限る。対応分析が複雑なデータセットに潜在する構造を明らかにできるという事例が、その可能性を示している。