[論文レビュー] Perspectives on the State and Future of Deep Learning - 2023

Micah Goldblum, Anima Anandkumar+8 more|arXiv (Cornell University)|Dec 7, 2023

Explainable Artificial Intelligence (XAI)被引用数 4

ひとこと要約

2023年のこのサーベイは、深層学習の現在の状態と将来についての専門家の見解をまとめ、分布シフト、メカニズム的解釈可能性、耐性のある推論といった軽視されがちな課題に焦点を当てる。学術分野における基礎的研究の推進を提言し、ベンチマーク評価の限界を批判し、自然科学分野におけるAIの変容的潜在能力を強調するが、狭義の評価指標や大量データ依存モデルへの過剰な依存には注意を喚起する。

ABSTRACT

The goal of this series is to chronicle opinions and issues in the field of machine learning as they stand today and as they change over time. The plan is to host this survey periodically until the AI singularity paperclip-frenzy-driven doomsday, keeping an updated list of topical questions and interviewing new community members for each edition. In this issue, we probed people's opinions on interpretable AI, the value of benchmarking in modern NLP, the state of progress towards understanding deep learning, and the future of academia.

研究の動機と目的

• 専門家インタビューとコミュニティからのフィードバックを通じて、深層学習における現在および新たな課題を文書化・分析すること。
• 分布シフトへの耐性やメカニズム的解釈可能性といった、過小評価されがちなが高インパクトな研究課題を特定すること。
• 産業界の支配が進む中で、学術機関が基礎的機械学習研究をどのように推進すべきかを評価すること。
• 自然言語処理とビジョン分野における現在の評価パラダイムを批判し、より洞察に富み、人間とは異なる知能に配慮したベンチマークを提唱すること。
• 自然科学分野におけるAIの将来、特に新素材の発見やドラッグデザインを含めた、高インパクトなフロンティアを探索すること。

提案手法

• 主要な機械学習研究者および実務家を対象とした選別されたサーベイを実施し、重要な課題と将来の方向性に関する定性的な知見を収集する。
• 実世界の応用例（例：PDEの代理モデル、分子動力学、抗体設計）を用いて、AIのインパクトのある応用を説明する。
• 分布シフト研究におけるテスト分布の漏洩のリスクを強調することで、伝統的なベンチマーク評価の欠陥を批判する。
• 静的ベンチマークや集計精度に依存するのではなく、事前に定義された分布シフトの種類に基づいた原理的でないアルゴリズム設計への移行を提言する。
• AIと認知科学の協働を通じて、AIの能力をよりよく評価するためのプロトコルを設計することを提唱する。
• アクティブラーニング、学習された評価、不確実性の表現といった、未開発だが極めて重要な分野の重要性を強調する。

実験結果

リサーチクエスチョン

• RQ1 現在の深層学習において、最も重要だが過小評価されがちな課題は何か？
• RQ2 静的ベンチマークや集計精度を超えて、AIシステムの評価をどのように改善できるか？
• RQ3 なぜ分布シフト研究は現在のところ flawed であるのか？ また、分布漏洩を避けるためにどのように再構築できるか？
• RQ4 産業界の支配が進む中で、学術機関は基礎的機械学習研究をどのように推進すべきか？
• RQ5 AIを自然科学分野での発見を加速するために、どのように効果的に応用できるか？

主な発見

• Max Wellingは、気象モデル、電池設計、ドラッグ発見といった自然科学分野におけるAIの応用を、最もインパクトが大きくかつ未開拓なフロンティアの一つと指摘する。
• Kyunghyun Choは、現在の機械学習研究が、大量のデータと簡単に評価可能な単純な問題に過度に注力していると主張し、アクティブラーニング や耐性のある分類といった、より複雑でコストが高く、インパクトも大きい問題が犠牲にされていると指摘する。
• Zachary Liptonは、AIがすでに産業界のあらゆる分野に深く統合されていること、ビジネスリーダーが研究者よりも多くの情報を得ていることから、学術機関からの影響力の低下が顕著であると観察する。
• Melanie Mitchellは、抽象的推論への一般化の欠如、構成的視覚言語理解の不十分さ、不適切な評価手法が、AI分野における根本的な未解決課題であると特定する。
• この論文は、モデルが内部で情報をどのように処理しているかを理解するメカニズム的解釈可能性が、深層学習における根本的で未解決の問題のままであると強調する。
• 産業界の進展にもかかわらず、統計的基礎、因果関係、耐性に関する長期的かつオープンエディションの研究において、学術機関は独自の役割を保持しており、短期的な商業的目標とは一致しない分野である。