[논문 리뷰] Large Language Model-Enhanced Algorithm Selection: Towards Comprehensive Algorithm Representation

Xingyu Wu, Yan Zhong외 3명|arXiv (Cornell University)|2023. 11. 22.

Natural Language Processing Techniques인용 수 4

한 줄 요약

이 논문은 코드 및 설명 텍스트에서 고차원의 알고리즘 특징을 추출하고, 유사도 기반 매칭을 통해 문제 특징과 통합함으로써 포괄적이고 고차원적인 알고리즘 특징을 활용하는 새로운 알고리즘 선택 프레임워크인 AS-LLM을 제안한다. 이 방법은 다양한 알고리즘과 문제에서 최신 기술 수준의 성능과 뛰어난 일반화 능력을 달성하며, 분포 이탈에 대한 강건성을 확인하는 이론적 경계를 제공한다.

ABSTRACT

Algorithm selection, a critical process of automated machine learning, aims to identify the most suitable algorithm for solving a specific problem prior to execution. Mainstream algorithm selection techniques heavily rely on problem features, while the role of algorithm features remains largely unexplored. Due to the intrinsic complexity of algorithms, effective methods for universally extracting algorithm information are lacking. This paper takes a significant step towards bridging this gap by introducing Large Language Models (LLMs) into algorithm selection for the first time. By comprehending the code text, LLM not only captures the structural and semantic aspects of the algorithm, but also demonstrates contextual awareness and library function understanding. The high-dimensional algorithm representation extracted by LLM, after undergoing a feature selection module, is combined with the problem representation and passed to the similarity calculation module. The selected algorithm is determined by the matching degree between a given problem and different algorithms. Extensive experiments validate the performance superiority of the proposed model and the efficacy of each key module. Furthermore, we present a theoretical upper bound on model complexity, showcasing the influence of algorithm representation and feature selection modules. This provides valuable theoretical guidance for the practical implementation of our method.

연구 동기 및 목표

• 자동 알고리즘 선택에서 알고리즘 특징의 미처 탐색되지 않은 역할을 다루며, 성능 향상 잠재력을 지닌 바이너리 박스로 간주되는 특징들을 고려하고자 한다.
• 수동 또는 수작업으로 만든 알고리즘 특징 엔지니어링의 한계를 극복하고자 하며, 이는 일반성 부족과 알고리즘 내 의미적·맥락적 정보를 포착하지 못하기 때문이다.
• 다양한 프로그래밍 언어와 알고리즘 유형을 아우르는 구조적, 의미적, 맥락적 특징을 포괄하는 보편적이고 자동화된 알고리즘 표현 방법을 개발하고자 한다.
• 알고리즘 표현을 문제 특징과 통합하여 문제-알고리즘 관계의 이중 모델링을 가능하게 하여 선택 정확도와 일반화 능력을 향상시키고자 한다.
• 문제 및 알고리즘 양쪽의 분포 이탈 상황에서 모델의 일반화 오차에 대한 이론적 경계를 제공함으로써 강건성을 검증하고자 한다.

제안 방법

• 사전 학습된 대규모 언어 모델(Large Language Models, LLMs)을 활용하여 코드 또는 텍스트 기반 설명을 고차원적이고 의미적으로 풍부한 표현으로 인코딩함으로써 문법, 의미, 라이브러리 함수 사용을 포괄한다.
• 특징 선택 모듈을 적용하여 가장 정보가 풍부한 알고리즘 특징을 식별하고 유지함으로써 차원을 감소시키면서도 분류 능력을 유지한다.
• 선택된 알고리즘 표현과 문제 특징을 코사인 유사도 계산 모듈을 통해 조합하여 문제와 후보 알고리즘 간의 매칭 정도를 측정한다.
• 유사도 점수를 최종 분류기(MLP)의 입력으로 사용하여 주어진 문제 인스턴스에 최적의 알고리즘을 예측한다.
• 코드 기반 및 설명 기반 알고리즘 입력을 모두 지원하는 통합 프레임워크를 도입하여, 소스 코드가 가용하지 않은 경우에도 넓은 적용 가능성을 확보한다.
• 문제 및 알고리즘의 분포 이탈 상황에서 일반화 오차에 대한 이론적 상한선을 제공함으로써 모델의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 LLM은 코드 및 텍스트 기반 설명에서 기존 수작업 특징을 능가하는 포괄적이고 보편적인 알고리즘 특징을 효과적으로 추출할 수 있는가?
• RQ2 문제 특징에만 의존하는 것과 비교해 알고리즘 특징을 통합할 경우 알고리즘 선택 모델의 성능 향상과 일반화 능력 향상은 어떻게 향상되는가?
• RQ3 AS-LLM 프레임워크의 각 구성 요소—LLM 기반 특징 추출, 특징 선택, 유사도 기반 매칭—이 전체 성능에 기여하는 정도는 어떠한가?
• RQ4 LLM을 통해 추출된 알고리즘 특징을 기반으로 모델이 훈련 데이터에 포함되지 않은 새로운 알고리즘으로의 일반화 능력은 어느 정도인가?
• RQ5 문제와 알고리즘 양쪽의 공동 분포 이탈 상황에서 알고리즘 선택 모델의 일반화 오차에 대해 어떤 이론적 보장을 제공할 수 있는가?

주요 결과

• AS-LLM은 다양한 알고리즘 유형이 포함된 상황에서 특히 PAR10 점수 향상이 두드러지게 나타나, 여러 ASLib 벤치마크에서 기존 알고리즘 선택 방법을 뛰어넘는 성능을 보였다.
• 제거 실험(Ablation study) 결과, 알고리즘 특징 모듈을 제거한 경우(AS-LLM-AF) 성능 저하가 가장 크게 발생하여 알고리즘 특징이 선택 정확도에 핵심적인 역할을 한다는 점을 확인하였다.
• 특징 선택 모듈은 학습 손실 곡선이 더 빨리 감소하는 것으로 나타나, 모델 수렴 속도 향상과 최종 성능 향상에 기여함을 보여주었다.
• 코사인 유사도 모듈은 특히 새로운 알고리즘으로의 제로샷 일반화 상황에서 의미 있는 기여를 하였으며, 이를 제거한 경우(AS-LLM-CS) 성능 저하가 명확하게 관찰되었다.
• AS-LLM은 알고리즘에 대한 강력한 일반화 능력을 보였으며, 훈련 데이터에서 개별 알고리즘을 제거한 경우에도 PAR10 점수는 전체 훈련 기준선과 유사하게 유지되어 알고리즘 분포 이탈에 대한 강건성을 입증하였다.
• LLM을 통한 알고리즘 특징 추출은 고립 상태 또는 조합 상태에서 수작업으로 만든 특징(예: 코드 라인 수, AST 특징)을 항상 능가하는 성능을 보였으며, LLM 기반 표현의 우수성을 입증하였다.