[論文レビュー] Limitations of Deep Neural Networks: a discussion of G. Marcus' critical appraisal of deep learning

Stefanos Tsimenidis|arXiv (Cornell University)|Dec 22, 2020

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

この論文は、ギャリー・マーカスが2018年に発表した深層学習批判を厳密に検討し、深層ニューラルネットワークの限界に関するその核心的主張を分析している。データ非効率性、推論能力の欠如、脆さといった主要な弱みを議論するとともに、現在の深層学習パラダイムをはるかに超えるより強固で解釈可能なAIシステムの再研究を提唱している。

ABSTRACT

Deep neural networks have triggered a revolution in artificial intelligence, having been applied with great results in medical imaging, semi-autonomous vehicles, ecommerce, genetics research, speech recognition, particle physics, experimental art, economic forecasting, environmental science, industrial manufacturing, and a wide variety of applications in nearly every field. This sudden success, though, may have intoxicated the research community and blinded them to the potential pitfalls of assigning deep learning a higher status than warranted. Also, research directed at alleviating the weaknesses of deep learning may seem less attractive to scientists and engineers, who focus on the low-hanging fruit of finding more and more applications for deep learning models, thus letting short-term benefits hamper long-term scientific progress. Gary Marcus wrote a paper entitled Deep Learning: A Critical Appraisal, and here we discuss Marcus' core ideas, as well as attempt a general assessment of the subject. This study examines some of the limitations of deep neural networks, with the intention of pointing towards potential paths for future research, and of clearing up some metaphysical misconceptions, held by numerous researchers, that may misdirect them.

研究の動機と目的

• ギャリー・マーカスの2018年論文『Deep Learning: A Critical Appraisal』を批判的に評価し、深層学習の欠陥に関するその中心的主張を検討すること。
• データ非効率性、一般化能力の欠如、分布外設定における脆さを含む、深層ニューラルネットワークの主な限界を特定・議論すること。
• 深層学習の段階的応用に注力する傾向が、長期的な科学的進歩を阻害する可能性があるという主張を検討すること。
• AIコミュニティにおける深層学習モデルの能力と現状に関する誤解を明確にすること。
• 現在の深層学習アプローチの根本的限界を克服する代替AIアーキテクチャの再研究を提唱すること。

提案手法

• 特に一般化、推論、データ効率性に焦点を当て、ギャリー・マーカスの深層学習に対する核心的主張の体系的レビューと統合。
• 深層学習の実世界への応用を分析することで、表面的な成功とモデルの本質的限界とのギャップを浮き彫りにすること。
• 神学的誤解（例：ニューラルネットワークの認知的能力を過大評価する傾向）をAI研究分野で議論すること。
• 構造的および分布外タスクにおける深層学習のパフォーマンスと人間水準の推論・一般化能力を比較すること。
• 神経的記号的統合や因果的推論といった、資金が不足している研究分野を特定し、今後の道のりとしての可能性を検討すること。
• 医療画像診断や自動運転など多様な分野の事例研究を用いて、モデルの脆さとデータ依存性を説明すること。

実験結果

リサーチクエスチョン

• RQ1 ギャリー・マーカスが2018年の批判で指摘した、深層ニューラルネットワークの根本的限界とは何か？
• RQ2 なぜAI研究コミュニティが深層学習の応用に注力してきた結果、モデルの根本的欠陥を是正する進歩が阻害されたのだろうか？
• RQ3 深層学習モデルの認知的能力に関する誤解が、科学的研究をどのように誤導しているのか？
• RQ4 現在の深層学習パラダイムの限界を克服するための代替的研究分野は何か？
• RQ5 深層ニューラルネットワークは、どのようにして訓練分布外の状況で一般化に失敗するのか？その実世界への展開に与える影響は何か？

主な発見

• 深層ニューラルネットワークは顕著なデータ非効率性を示しており、人間が少数の例から一般化できるタスクですら、大量のラベル付きデータを必要としている。
• 現在の深層学習モデルは、論理的推論や因果的理解を要するタスクで、きわめて脆弱な推論能力を有している。
• モデルは分布外の入力に対して非常に脆く、たとえ違いが微細であったり、視覚的にわずかに異なっていても、失敗しやすい。
• 深層学習の広範な成功は、応用志向の研究に偏る研究バイアスを生み出し、基礎的モデル改善への投資を減少させている可能性がある。
• 現在の深層学習アーキテクチャは、人間水準の知能や汎用的知能を達成するには不十分であるという合意が広がりつつある。
• 神経的記号的統合やハイブリッドアプローチは、ニューラル学習と記号的推論を統合するが、研究が不十分であるが、将来的な進歩にとって極めて重要である可能性がある。