[論文レビュー] AutoML in the Age of Large Language Models: Current Challenges, Future Opportunities and Risks

Alexander Tornede, Difan Deng+9 more|arXiv (Cornell University)|Jun 13, 2023

Natural Language Processing Techniques被引用数 7

ひとこと要約

この調査は AutoML と大規模言語モデル（LLM）が互恵的に互いを強化できる方法を分析し、交差する領域での課題・機会・リスクを詳述します。

ABSTRACT

The fields of both Natural Language Processing (NLP) and Automated Machine Learning (AutoML) have achieved remarkable results over the past years. In NLP, especially Large Language Models (LLMs) have experienced a rapid series of breakthroughs very recently. We envision that the two fields can radically push the boundaries of each other through tight integration. To showcase this vision, we explore the potential of a symbiotic relationship between AutoML and LLMs, shedding light on how they can benefit each other. In particular, we investigate both the opportunities to enhance AutoML approaches with LLMs from different perspectives and the challenges of leveraging AutoML to further improve LLMs. To this end, we survey existing work, and we critically assess risks. We strongly believe that the integration of the two fields has the potential to disrupt both fields, NLP and AutoML. By highlighting conceivable synergies, but also risks, we aim to foster further exploration at the intersection of AutoML and LLMs.

研究の動機と目的

• AutoML が LLM のライフサイクル（事前学習、ファインチューニング、推論）をどのように強化できるかを説明する。
• LLM の全体最適化を妨げるコア課題を特定する。
• LLMs が AutoML ツールとワークフローを改善する方法を探る。
• AutoML と LLM の統合に伴うリスクを評価し、予防策を提案する。

提案手法

• LLM 向け AutoML および LLM 支援 AutoML の既存研究を調査する。
• 事前学習、ファインチューニング、推論など、LLM ライフサイクルの技術的課題を批判的に評価する。
• LLMs に関連するメタ学習、マルチフィディリティ、勾配ベースの AutoML アプローチの可能性を議論する。
• AutoML ツール内での人間と機械の相互作用を LLM によって強化する点を強調する。
• 評価問題、幻覚（ハルシネーション）、リソース要求といったリスクを概説する。

Figure 1: AutoML can be used in all stages of the LLM lifecycle and needs to be adjusted to the different objectives, hyperparameters, and design decisions of each stage. The graphic depicts exemplary objectives, subjects of optimization, and associated hyperparameters. Due to computational constrai

実験結果

リサーチクエスチョン

• RQ1 AutoML によって LLM ライフサイクルを全体最適化する際の主な課題は何か。
• RQ2 AutoML 手法を事前学習、ファインチューニング（RLHF / アラインメントを含む）、推論に対応するよう適応（拡張）するにはどうすればよいか。
• RQ3 LLMs は AutoML ツール、人間と AI の相互作用、メタ学習コンポーネントを改善するためにどんな機会を提供するか。
• RQ4 AutoML と LLM の統合から生じるリスクは何であり、それをどのように緩和できるか。

主な発見

• 現在の AutoML はコスト、多段階の目的、学習パラダイムの相違のため、LLM ライフサイクル全体を包括的に最適化できない。
• LLMs は人間と機械の相互作用の改善、データ駆動型プロンプトの向上、非構造化データからのメタ学習によって AutoML を強化しうる。
• 統合は、評価の不十分さ、AutoML 支援コンポーネントでの幻覚の可能性、リソース需要の増大といったリスクをもたらす。
• AutoRL やマルチフィディリティ手法は有望だが、LLM コンテキストでの慎重な設定と検証を要する。
• プロンプト設計とインコンテクスト学習は、AutoML が自動化または LLM 主導の最適化を補完・促進できる道を示す。
• 多目的最適化を促進することは、性能、公平性/バイアス、計算コストのバランスを取る上で不可欠である。

Figure 2: Overview of options where LLMs can be integrated into the AutoML process.