[論文レビュー] A Very Brief and Critical Discussion on AutoML

Bin Liu|arXiv (Cornell University)|Nov 9, 2018

Machine Learning and Data Classification参考文献 7被引用数 8

ひとこと要約

この論文は、自動機械学習（AutoML）を精査し、外側のループアルゴリズムの設定に専門家の関与が依然として必要な「狭義のAutoML」と、人間の入力を一切受け付けない完全自動化を志向する「一般化されたAutoML」に分類する。主な貢献は、現在の多くのAutoMLの進展が、専門家の依存を減らすが完全に排除しない狭義のAutoMLに限定されており、計算コストが増加する一方で、一般化されたAutoMLはまだ人工汎用知能（AGI）の未解決課題に深く結びついているという主張である。

ABSTRACT

This contribution presents a very brief and critical discussion on automated machine learning (AutoML), which is categorized here into two classes, referred to as narrow AutoML and generalized AutoML, respectively. The conclusions yielded from this discussion can be summarized as follows: (1) most existent research on AutoML belongs to the class of narrow AutoML; (2) advances in narrow AutoML are mainly motivated by commercial needs, while any possible benefit obtained is definitely at a cost of increase in computing burdens; (3)the concept of generalized AutoML has a strong tie in spirit with artificial general intelligence (AGI), also called "strong AI", for which obstacles abound for obtaining pivotal progresses.

研究の動機と目的

• 自動機械学習の文脈において、狭義のAutoMLと一般化されたAutoMLの概念的違いを明確にすること。
• 現在の多くのAutoML研究が、外側のループアルゴリズムの設定に専門知識が不可欠な狭義のAutoMLに属することを主張すること。
• 狭義のAutoMLシステムにおいて、専門家による関与の削減と計算負荷の増加というトレードオフを浮き彫りにすること。
• 一般化されたAutoMLを、人工汎用知能（AGI）と本質的に結びついた概念として位置づけ、その克服すべき大きな未解決課題を強調すること。
• 特に完全自動化とAGIに向けた長期的実現可能性と研究の目的について、批判的な考察を喚起すること。

提案手法

• AutoMLを二つのクラスに分類する：狭義のAutoML（中間的自動化で残存する専門家入力あり）と一般化されたAutoML（完全自動化で専門家不要の機械学習）。
• ベイズ最適化（BO）を代表例として狭義のAutoML技術として分析し、BO自体がハイパーパramーターやカーネルタイプの専門家設定を必要としていることを示す。
• 遺伝的プログラミング、強化学習、トランスファーラーニングなどの他の手法を検討し、すべてが専門家が定義した探索空間や事前分布を必要としていることを示す。
• メタラーニングや構成的カーネル探索の例を用いて、高度な自動化技術ですら人間が定義した設定空間に依存していることを示す。
• BOベースのAutoMLと専門家主導のモデル選択の計算コストを比較し、自動化が計算負荷を増加させることを示す。
• 一般化されたAutoMLと人工汎用知能（AGI）の間の概念的類似性を描き、共通する基盤的課題を強調する。

実験結果

リサーチクエスチョン

• RQ1 専門家の関与と自動化の完全性という観点から、狭義のAutoMLと一般化されたAutoMLの主な違いは何ですか？
• RQ2 自動化を謳う一方で、現在のAutoML技術が人間の専門的知識の要請をどれほど本当に軽減しているのでしょうか？
• RQ3 AutoMLにおける外側のループアルゴリズムを自動化によって専門家の意思決定に置き換える際の計算コストのトレードオフはどのようなものですか？
• RQ4 なぜ一般化されたAutoMLは人工汎用知能（AGI）の自然な延長と見なされるのでしょうか？そして、どのような課題に直面していますか？
• RQ5 Auto-WEKA、auto-sklearn、TPOT などの既存のAutoMLフレームワークは、狭義のAutoMLの限界をどのように具体化していますか？

主な発見

• 現在の多くのAutoML研究は、外側のループアルゴリズムの設定に専門家入力が依然として必要な『狭義のAutoML』に分類される。
• AutoMLにおけるベイズ最適化（BO）の使用は、人間労働の削減に貢献するが、専門家主導のモデル選択と比較して顕著な計算コストの増加をもたらす。
• メタラーニングやBOベースのAutoMLにおける構成的カーネル探索といった高度な技術でさえ、人間が定義した探索空間や事前分布に依存しており、継続的な専門家依存が示されている。
• AutoMLパイプラインにおける最外層のアルゴリズムの設定は、常に人間の専門家によって行われており、完全な自動化が達成されていないことを証明している。
• 専門家による入力なしに完全自動化された機械学習を実現する一般化されたAutoMLは、概念的に人工汎用知能（AGI）と一致するが、進展を阻害する克服不能な障壁に直面している。
• 専門家による関与の削減によって得られる利点は、BOのような探索集約型手法において特に顕著な計算コストの増加によって相殺されている。