[论文解读] Large Language Model-Enhanced Algorithm Selection: Towards Comprehensive Algorithm Representation

Xingyu Wu, Yan Zhong+3 more|arXiv (Cornell University)|Nov 22, 2023

Natural Language Processing Techniques被引用 4

一句话总结

该论文提出AS-LLM，一种新颖的算法选择框架，利用大型语言模型（LLMs）从代码和描述文本中提取全面、高维的算法特征，并通过基于相似度的匹配将这些特征与问题特征相结合。该方法在多种算法和问题上均实现了最先进性能与强大的泛化能力，理论边界证实其对分布偏移具有鲁棒性。

ABSTRACT

Algorithm selection, a critical process of automated machine learning, aims to identify the most suitable algorithm for solving a specific problem prior to execution. Mainstream algorithm selection techniques heavily rely on problem features, while the role of algorithm features remains largely unexplored. Due to the intrinsic complexity of algorithms, effective methods for universally extracting algorithm information are lacking. This paper takes a significant step towards bridging this gap by introducing Large Language Models (LLMs) into algorithm selection for the first time. By comprehending the code text, LLM not only captures the structural and semantic aspects of the algorithm, but also demonstrates contextual awareness and library function understanding. The high-dimensional algorithm representation extracted by LLM, after undergoing a feature selection module, is combined with the problem representation and passed to the similarity calculation module. The selected algorithm is determined by the matching degree between a given problem and different algorithms. Extensive experiments validate the performance superiority of the proposed model and the efficacy of each key module. Furthermore, we present a theoretical upper bound on model complexity, showcasing the influence of algorithm representation and feature selection modules. This provides valuable theoretical guidance for the practical implementation of our method.

研究动机与目标

• 为解决自动化算法选择中算法特征作用未被充分探索的问题，尽管其具有提升模型性能的潜力，但这些特征常被视为黑箱。
• 克服手工或人工设计的算法特征工程的局限性，后者缺乏通用性且难以捕捉算法中的语义和上下文信息。
• 开发一种通用、自动化的算法表示方法，以捕捉跨多种编程语言和算法类型的结构、语义及上下文特征。
• 通过将算法表示与问题特征结合，实现问题-算法关系的双向建模，从而提升选择准确率与泛化能力。
• 在问题与算法的联合分布偏移下，为模型的泛化误差提供理论边界，验证其鲁棒性。

提出的方法

• 利用预训练的大型语言模型（LLMs）将算法代码或文本描述编码为高维、语义丰富的表示，以捕捉语法、语义及库函数使用信息。
• 应用特征选择模块识别并保留最具信息量的算法特征，降低维度的同时保持判别能力。
• 通过余弦相似度计算模块将选定的算法表示与问题特征相结合，以度量问题与候选算法之间的匹配程度。
• 将相似度得分输入最终分类器（MLP）以预测给定问题实例的最优算法。
• 采用统一框架支持基于代码和基于描述的算法输入，即使在无源代码时也能实现广泛适用性。
• 为问题与算法分布偏移下的泛化误差提供理论上限，验证模型的鲁棒性。

实验结果

研究问题

• RQ1 LLMs能否有效从代码和文本描述中提取全面、通用的算法特征，超越传统手工特征？
• RQ2 与仅依赖问题特征相比，引入算法特征如何提升算法选择模型的性能与泛化能力？
• RQ3 AS-LLM框架中各组件——基于LLM的特征提取、特征选择与基于相似度的匹配——对整体性能的贡献如何？
• RQ4 当通过LLM提取算法特征时，模型在未见算法上的泛化能力达到何种程度，尤其在新算法上的零样本泛化表现？
• RQ5 在问题与算法的联合分布偏移下，能否为算法选择模型的泛化误差提供理论保证？

主要发现

• AS-LLM在多个ASLib基准测试中优于现有算法选择方法，尤其在算法类型多样的场景下，PAR10得分显著提升。
• 消融研究证实，移除算法特征模块（AS-LLM-AF）导致性能下降最大，验证了算法特征在选择准确率中的关键作用。
• 特征选择模块提升了模型收敛速度与最终性能，表现为训练损失曲线下降更快，相较于无此模块的完整模型。
• 余弦相似度模块对性能有显著贡献，尤其在对新算法的零样本泛化中，移除该模块（AS-LLM-CS）导致可测量的性能下降。
• AS-LLM在算法泛化方面表现强劲：当训练数据中排除个别算法时，PAR10得分仍接近完整训练基线，表明对算法分布偏移具有鲁棒性。
• LLM提取的算法特征在孤立使用及组合使用时，均持续优于手工设计特征（如代码行数、AST特征），凸显LLM表示方法的优越性。