[論文レビュー] Application-Driven Innovation in Machine Learning

David Rolnick, Alán Aspuru‐Guzik+9 more|arXiv (Cornell University)|Mar 26, 2024

Big Data and Business IntelligenceBusiness, Management and Accounting被引用数 3

ひとこと要約

この論文は、機械学習分野における手法志向的研究とは対照的に、実世界の課題が新しいアルゴリズムの創出を促す応用志向的イノベーション（ADML）を、重要な補完的アプローチとして提唱している。実世界の課題が幅広い影響を持つ新しいアルゴリズムを生み出すという主張である。本論文は、ADMLと従来のベンチマーク志向的アプローチを対比し、応用志向的研究を軽視する傾向が、査読、採用、教育の分野に根ざした構造的バイアスとして存在することを指摘し、ML研究エコシステム全体においてADMLを同等に評価・統合するための改革を提言している。

ABSTRACT

In this position paper, we argue that application-driven research has been systemically under-valued in the machine learning community. As applications of machine learning proliferate, innovative algorithms inspired by specific real-world challenges have become increasingly important. Such work offers the potential for significant impact not merely in domains of application but also in machine learning itself. In this paper, we describe the paradigm of application-driven research in machine learning, contrasting it with the more standard paradigm of methods-driven research. We illustrate the benefits of application-driven machine learning and how this approach can productively synergize with methods-driven work. Despite these benefits, we find that reviewing, hiring, and teaching practices in machine learning often hold back application-driven innovation. We outline how these processes may be improved.

研究の動機と目的

• 手法志向的研究とは別個のものであるが補完的である応用志向的機械学習（ADML）を明確に定義し、その位置付けを確立すること。
• 査読、採用、学術的トレーニングにおいて、応用志向的ML研究を軽視する構造的バイアスを特定すること。
• 研究評価、採用、教育の分野における改革を提言し、ADML研究者を支援・強化すること。
• 現実世界の制約や分野固有のニーズが、より強固で一般化可能で影響力のあるML手法の創出を促す方法を明らかにすること。
• 非学術的・非テック産業分野の役割に備えるために、分野横断的教育と協働を推進し、研究者を準備すること。

提案手法

• ベンチマーク、評価指標、データスケール、アルゴリズムの一般性という4つの主要な次元を通じて、ADMLと手法志向的研究を対比すること。
• リモートセンシング分野におけるランダムフォレストが深層学習モデルを上回る事例など、実世界応用で単純なモデルが優れた結果を出す事例を分析すること。
• 標準化されたベンチマークから、文脈に即した応用特化型の指標と検証へと研究評価の軸をシフトすることを提言すること。
• 理論的革新に加え、分野専門知識と実際の導入経験を重視する学術的採用のあり方を提案すること。
• 問題の定式化から導入までを含むプロジェクトライフサイクルを経験する教育課程の改革を提言し、分野特化型ML教育を統合すること。
• 医療、気候科学、産業分野などにおけるML研究者と分野専門家との間のギャップを埋めるため、分野横断的協働とトレーニングを推進すること。

実験結果

リサーチクエスチョン

• RQ1 応用志向的イノベーションは、機械学習における手法志向的研究とどのように異なるのか。主な特徴は何か。
• RQ2 応用志向的MLが実世界に大きな影響を与えているにもかかわらず、なぜ査読、採用、学術的トレーニングにおいてしばしば軽視されるのか。
• RQ3 ADML研究を公平に評価し、支援し、広範なML研究エコシステムに統合するために、どのような構造的改革が必要か。
• RQ4 教育制度は、学術的およびテック産業外の役割（公的部門や分野特化型応用分野）に備えるために、どのようにML学生をよりよく準備できるか。
• RQ5 応用志向的研究は、ML分野全体に恩恵をもたらすような、どのような方法論的進歩をもたらすことができるか。

主な発見

• 実世界の状況では、応用志向的研究が手法志向的アプローチよりも効果的な解決策を生み出すことが多く、リモートセンシング分野でランダムフォレストがVision Transformersを上回る事例がその例である。
• ImageNet や MS COCO といった標準化されたベンチマークは過剰に使用されており、実世界の有用性とは乖離した性能指標に焦点を当てすぎているため、狭い視野を生み出している。
• 現在の評価手法は、テスト損失や正答率を重視し、応用特化型指標を軽視しているため、研究の成果と社会的影響の間でズレが生じている。
• ML分野における査読、採用、教育の実務は、応用志向的作業を軽視する傾向があり、研究者が影響力のある分野特化型課題に取り組むのを妨げている。
• 『Good for AI』のようなADMLサブコミュニティは、性別や民族的多様性がより高い傾向にあり、応用志向的作業がML分野への参加の多様性を広げられることを示唆している。
• 分野特化型ML教育とプロジェクトライフサイクル全般の経験を教育に組み込むことで、公的部門や産業界での影響力のある役割に備えた学生の準備がより良くなる。