[논문 리뷰] Cluster Workload Allocation: Semantic Soft Affinity Using Natural Language Processing

Leszek Śliwko, Jolanta Mizeria-Pietraszko|arXiv (Cornell University)|2026. 01. 14.

Cloud Computing and Resource Management인용 수 0

한 줄 요약

이 논문은 자연어 처리를 활용한 의미론적 의도 기반 스케줄링 접근법을 제시하며, 소프트 친화성 힌트를 해석하기 위해 Kubernetes 스케줄러 확장기를 통해 LLM을 통합한다.

ABSTRACT

Cluster workload allocation often requires complex configurations, creating a usability gap. This paper introduces a semantic, intent-driven scheduling paradigm for cluster systems using Natural Language Processing. The system employs a Large Language Model (LLM) integrated via a Kubernetes scheduler extender to interpret natural language allocation hint annotations for soft affinity preferences. A prototype featuring a cluster state cache and an intent analyzer (using AWS Bedrock) was developed. Empirical evaluation demonstrated high LLM parsing accuracy (>95% Subset Accuracy on an evaluation ground-truth dataset) for top-tier models like Amazon Nova Pro/Premier and Mistral Pixtral Large, significantly outperforming a baseline engine. Scheduling quality tests across six scenarios showed the prototype achieved superior or equivalent placement compared to standard Kubernetes configurations, particularly excelling in complex and quantitative scenarios and handling conflicting soft preferences. The results validate using LLMs for accessible scheduling but highlight limitations like synchronous LLM latency, suggesting asynchronous processing for production readiness. This work confirms the viability of semantic soft affinity for simplifying workload orchestration and presents a proof-of-concept design.

연구 동기 및 목표

• 클러스터 워크로드 구성 및 할당의 사용성 격차를 동기 부여한다.
• 자연어 처리를 활용한 의미론적, 의도 주도형 스케줄링 패러다임을 도입한다.
• LLM 기반 해석을 테스트하기 위한 클러스터 상태 캐시와 의도 분석기를 갖춘 프로토타입을 개발한다.
• 특히 복잡한 시나리오에서 LLM 기반 스케줄링이 기본 Kubernetes 배치와 같거나 능가하는지 평가한다.

제안 방법

• Natural language allocation hints를 파싱하기 위해 Kubernetes 스케줄러 확장기를 통해 Large Language Model (LLM)을 통합한다.
• 소프트 친화성 선호도를 도출하기 위해 AWS Bedrock을 사용한 의도 분석기를 구현한다.
• 스케줄링 결정을 가속화하기 위한 클러스터 상태 캐시를 특징으로 하는 프로토타입을 개발한다.
• LLM 기반 파싱 정확도를 기준 데이터 세트와 비교하는 실험적 평가를 수행한다.
• 여러 시나리오에 걸쳐 표준 Kubernetes 구성과 비교한 스케줄링 품질 테스트를 수행한다.

실험 결과

연구 질문

• RQ1 자연어 힌트를 LLM이 클러스터 워크로드 친화성을 주도하도록 정확하게 파싱할 수 있는가?
• RQ2 특히 복잡하거나 상충하는 소프트 프리퍼런스에서 LLM 보조 스케줄링이 기본 Kubernetes 할당과 비교해 우수하거나 동등한 배치 품질을 달성하는가?
• RQ3 생산 환경에서 스케줄링에 LLM을 사용할 때의 지연 및 준비 상태 영향은 무엇인가?
• RQ4 제안된 의미론적 소프트 친화성 접근법이 접근 가능한 워크로드 오케스트레이션의 시연 개념으로 실행 가능한가?

주요 결과

• LLM 파싱 정확도가 ground-truth 데이터셋에서 상위 모델(예: Amazon Nova Pro/Premier 및 Mistral Pixtral Large)에서 95% 이상 Subset Accuracy를 보인다.
• 프로토타입은 여섯 개 시나리오에서 표준 Kubernetes 구성과 비교해 우수하거나 동등한 배치를 달성한다.
• 이 접근법은 특히 복잡하고 정량적인 시나리오 및 상충하는 소 프리퍼런스를 처리할 때 뛰어나다.
• 동일 시점의 LLM 대기 시간으로 인해 스케줄링 성능이 제약되며, 생산 준비를 위해 비동기 처리가 필요함을 시사한다.