[論文レビュー] Annotated History of Modern AI and Deep Learning

Juergen Schmidhuber|arXiv (Cornell University)|Dec 21, 2022

Computational Physics and Python Applications被引用数 28

ひとこと要約

包括的でハイパーリンク豊富なタイムラインと分析は、現代AIとディープラーニングを形作るマイルストーン、基盤、主要貢献者を網羅し、Schmidhuberの2015年調査を補完します。

ABSTRACT

Machine learning (ML) is the science of credit assignment. It seeks to find patterns in observations that explain and predict the consequences of events and actions. This then helps to improve future performance. Minsky's so-called "fundamental credit assignment problem" (1963) surfaces in all sciences including physics (why is the world the way it is?) and history (which persons/ideas/actions have shaped society and civilisation?). Here I focus on the history of ML itself. Modern artificial intelligence (AI) is dominated by artificial neural networks (NNs) and deep learning, both of which are conceptually closer to the old field of cybernetics than what was traditionally called AI (e.g., expert systems and logic programming). A modern history of AI & ML must emphasize breakthroughs outside the scope of shallow AI text books. In particular, it must cover the mathematical foundations of today's NNs such as the chain rule (1676), the first NNs (circa 1800), the first practical AI (1914), the theory of AI and its limitations (1931-34), and the first working deep learning algorithms (1965-). From the perspective of 2025, I provide a timeline of the most significant events in the history of NNs, ML, deep learning, AI, computer science, and mathematics in general, crediting the individuals who laid the field's foundations. The text contains numerous hyperlinks to relevant overview sites. With a ten-year delay, it supplements my 2015 award-winning deep learning survey which provides hundreds of additional references. Finally, I will put things in a broader historical context, spanning from the Big Bang to when the universe will be many times older than it is now.

研究の動機と目的

• ニューラルネットワーク、機械学習、ディープラーニング、AI、計算機科学、数学における最も重要な出来事のタイムラインを提示する。
• 分野の基盤を築いた個人に功績を称える。
• 広範な歴史的文脈と概説ソースへのリンクを提供する。
• 著者の2015年のディープラーニング調査を2022年の観点で補完する。

提案手法

• 基礎概念（例：連鎖律、初期のニューラルネット）から現代のディープラーニングに至るマイルストーンの歴史的分析。
• 600以上の参考文献を含む97ページの技術報告の作成。
• 相互参照のための関連概要サイトへの多数のハイパーリンクを含める。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク、機械学習、AIの歴史で最も重要な出来事は何か、そして主要な貢献者は誰か？
• RQ2 基礎となる数学的発展は現代のニューラーネットワークとディープラーニングをどう支えているか？
• RQ3 AIの現代史は現在の方法論と制限をどう位置づけるか？

主な発見

• NN、ML、DL、AI、CS、数学の重要な出来事の詳細なタイムラインを2022年まで提供（2025年改訂あり） 。
• 分野の基盤を築いた個人に功績を称え、発見をより広い科学史の中に位置づける。
• 広範な参考文献（約600件）と概要ソースへのハイパーリンクを含み、さらなる探究を促す。
• 補完として、Schmidhuberの2015年のディープラーニング調査を長期的な歴史的観点で拡張する。
• 初期概念（例：連鎖律）から最初の実用的ディープラーニングアルゴリズム（1965年〜）とそれ以降をカバー。
• ビッグバンから長期的な未来の考慮までの文脈的枠組みを提供する。