[論文レビュー] Large Language Model-Enhanced Algorithm Selection: Towards Comprehensive Algorithm Representation

Xingyu Wu, Yan Zhong+3 more|arXiv (Cornell University)|Nov 22, 2023

Natural Language Processing Techniques被引用数 4

ひとこと要約

本稿では、コードおよび記述テキストから包括的で高次元のアルゴリズム特徴量を抽出するために大規模言語モデル（LLMs）を活用し、類似度ベースのマッチングによってそれらを問題特徴量と統合する、新しいアルゴリズム選択フレームワークAS-LLMを提案する。この手法は、多様なアルゴリズムおよび問題において最先端の性能と優れた一般化性能を達成しており、分布シフトに対するロバスト性を理論的境界で裏付けている。

ABSTRACT

Algorithm selection, a critical process of automated machine learning, aims to identify the most suitable algorithm for solving a specific problem prior to execution. Mainstream algorithm selection techniques heavily rely on problem features, while the role of algorithm features remains largely unexplored. Due to the intrinsic complexity of algorithms, effective methods for universally extracting algorithm information are lacking. This paper takes a significant step towards bridging this gap by introducing Large Language Models (LLMs) into algorithm selection for the first time. By comprehending the code text, LLM not only captures the structural and semantic aspects of the algorithm, but also demonstrates contextual awareness and library function understanding. The high-dimensional algorithm representation extracted by LLM, after undergoing a feature selection module, is combined with the problem representation and passed to the similarity calculation module. The selected algorithm is determined by the matching degree between a given problem and different algorithms. Extensive experiments validate the performance superiority of the proposed model and the efficacy of each key module. Furthermore, we present a theoretical upper bound on model complexity, showcasing the influence of algorithm representation and feature selection modules. This provides valuable theoretical guidance for the practical implementation of our method.

研究の動機と目的

• 自動アルゴリズム選択におけるアルゴリズム特徴量の未だ十分に探求されていない役割に取り組む。これらはしばしばブラックボックスとして扱われるが、モデル性能の向上に寄与する可能性を秘めている。
• 手作業または手作業で設計されたアルゴリズム特徴量の設計に起因する制限を克服する。これらは普遍性に欠け、アルゴリズム内の意味的および文脈的情報を捉えきれない。
• 多様なプログラミング言語やアルゴリズムタイプにわたる構造的・意味的・文脈的特徴量を捉える、普遍的で自動化されたアルゴリズム表現手法を開発すること。
• アルゴリズム表現を問題特徴量と統合することで、問題とアルゴリズムの関係を双方向にモデリングし、選択精度と一般化性能を向上させること。
• 問題およびアルゴリズムの両方における分布シフト下でのモデルの一般化誤差に理論的上限を提示し、そのロバスト性を検証すること。

提案手法

• 事前学習済みの大規模言語モデル（LLMs）を活用し、コードまたはテキスト的記述を、構文、意味、ライブラリ関数の使用を捉えた高次元で意味的に豊かな表現に変換する。
• 特徴量選択モジュールを適用し、最も情報量の多いアルゴリズム特徴量を特定・保持することで、次元削減を実現しつつも、識別力は維持する。
• 選択されたアルゴリズム表現と問題特徴量を、コサイン類似度計算モジュールを用いてマッチング度を測定することで統合する。
• 類似度スコアを最終分類器（MLP）の入力として用い、与えられた問題インスタンスに対して最適なアルゴリズムを予測する。
• コードベースと記述ベースの両方のアルゴリズム入力をサポートする統一フレームワークを採用し、ソースコードが入手不能な場合でも広範な適用性を確保する。
• 問題およびアルゴリズムの分布シフトに対する一般化誤差の理論的上限を提示し、モデルのロバスト性を裏付ける。

実験結果

リサーチクエスチョン

• RQ1 LLMsは、コードおよびテキスト的記述から、従来の手作業特徴量を上回る包括的かつ普遍的なアルゴリズム特徴量を効果的に抽出できるか？
• RQ2 問題特徴量に加えてアルゴリズム特徴量を組み込むことで、アルゴリズム選択モデルの性能および一般化能力はどの程度向上するのか？
• RQ3 AS-LLMフレームワーク内の各コンponent（LLMベース特徴抽出、特徴量選択、類似度ベースマッチング）が全体の性能に果たす寄与度はどの程度か？
• RQ4 LLMによって抽出されたアルゴリズム特徴量を用いた場合、学習データに存在しない未観測のアルゴリズムに対しても、モデルはどの程度一般化できるか？
• RQ5 問題とアルゴリズムの両方における同時分布シフト下で、アルゴリズム選択モデルの一般化誤差にどのような理論的保証を提示できるか？

主な発見

• AS-LLMは、複数のASLibベンチマークで既存のアルゴリズム選択手法を上回り、特に多様なアルゴリズムタイプを含む状況でPAR10スコアに顕著な向上を示した。
• アブレーションスタディの結果、アルゴリズム特徴量モジュールを削除した場合（AS-LLM-AF）に最も大きな性能低下が見られ、アルゴリズム特徴量が選択精度において極めて重要な役割を果たしていることが裏付けられた。
• 特徴量選択モジュールにより、トレーニング損失曲線の減少が著しく速くなり、収束速度と最終的な性能が向上した。
• コサイン類似度モジュールは性能向上に顕著な貢献を示し、特に新規アルゴリズムへのゼロショット一般化において顕著であった。類似度モジュールを削除した場合（AS-LLM-CS）には、測定可能な性能低下が観察された。
• AS-LLMはアルゴリズムに対する強力な一般化性能を示した。学習時に個々のアルゴリズムを除外しても、得られるPAR10スコアは完全な学習ベースラインに近く保たれ、アルゴリズムの分布シフトに対するロバスト性が裏付けられた。
• LLMによって抽出されたアルゴリズム特徴量は、孤立して用いられても、組み合わせて用いられても、手作業で設計された特徴量（例：コード行数、AST特徴量）を常に上回る性能を示し、LLMベース表現の優位性を強力に裏付けた。