[논문 리뷰] Finding representative sets of optimizations for adaptive multiversioning applications

Lianjie Luo, Yang Chen외 3명|arXiv (Cornell University)|2014. 07. 14.

Parallel Computing and Optimization Techniques참고 문헌 26인용 수 5

한 줄 요약

이 논문은 기계 학습을 사용하여 런타임에 데이터세트 특징을 최적의 코드 버전으로 매핑함으로써 적응형 멀티버전 프로그래밍 응용 프로그램을 위한 최소 대표 집합의 최적화 변종을 자동으로 선택하는 정적 멀티버전 프레임워크를 제안한다. 반복적인 오프라인 컴파일과 정제, 결정 트리 기반의 버전 선택을 조합함으로써 높은 성능을 달성하면서 코드 크기를 최소화하고 런타임 오버헤드를 최소화하며, 동적 재컴파일이 없는 단일 버전 바이너리보다 뛰어난 성능을 발휘한다.

ABSTRACT

Iterative compilation is a widely adopted technique to optimize programs for different constraints such as performance, code size and power consumption in rapidly evolving hardware and software environments. However, in case of statically compiled programs, it is often restricted to optimizations for a specific dataset and may not be applicable to applications that exhibit different run-time behavior across program phases, multiple datasets or when executed in heterogeneous, reconfigurable and virtual environments. Several frameworks have been recently introduced to tackle these problems and enable run-time optimization and adaptation for statically compiled programs based on static function multiversioning and monitoring of online program behavior. In this article, we present a novel technique to select a minimal set of representative optimization variants (function versions) for such frameworks while avoiding performance loss across available datasets and code-size explosion. We developed a novel mapping mechanism using popular decision tree or rule induction based machine learning techniques to rapidly select best code versions at run-time based on dataset features and minimize selection overhead. These techniques enable creation of self-tuning static binaries or libraries adaptable to changing behavior and environments at run-time using staged compilation that do not require complex recompilation frameworks while effectively outperforming traditional single-version non-adaptable code.

연구 동기 및 목표

• 정적 바이너리에서 다양한 데이터세트에 맞게 함수의 여러 최적화된 버전을 생성할 때 발생하는 코드 크기 폭발과 성능 손실 문제를 해결하기 위해.
• 복잡한 동적 재컴파일 프레임워크가 필요 없이 정적으로 컴파일된 프로그램의 런타임 적응을 가능하게 하기 위해.
• 다양한 데이터세트에서 높은 성능을 유지하는 최소이면서도 대표적인 최적화 변종 집합을 식별하기 위해.
• 입력 특성에 기반하여 최적의 코드 버전을 빠르게 선택할 수 있도록 기계 학습을 활용한 효율적이고 낮은 오버헤드의 런타임 선택 메커니즘을 개발하기 위해.
• 코드 블로트를 피하면서 성능을 유지하고, 특히 이질적 또는 가상화 환경에서 코드 크기와 성능 간의 균형을 최소한의 버전 수로 유지하기 위해.

제안 방법

• 다양한 데이터세트를 대상으로 반복적인 오프라인 컴파일을 수행하고, 랜덤으로 매개변수화된 변환(예: 루프 타일링, 언롤링)을 적용하여 많은 수의 최적화된 함수 버전을 생성한다.
• 성능 유지와 코드 크기 증가 통제를 위해 반복적으로 열등한 버전을 제거하는 히우리스틱 정제 전략을 사용한다.
• 입력 크기, 데이터 액세스 패턴 등의 데이터세트 특징을 추출하여 의사결정 트리나 규칙 유도 알고리즘과 같은 지도 학습 기반 기계 학습 모델을 훈련시킨다.
• 훈련된 모델을 실행 가능한 코드로 변환하여 입력 특성에 기반한 런타임 버전 선택을 최소한의 오버헤드로 수행한다.
• Open64 컴파일러에 프레임워크를 통합하고 GCC 통합 계획을 수립하며, 수동으로 작성된, 라이브러리 생성된, 또는 ISA 전용 버전을 모두 지원한다.
• 하드웨어 성능 카운터와 단계적 컴파일을 활용하여 런타임에 변화하는 워크로드에 적응할 수 있는 자가 조정 바이너리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 코드 크기 폭발 없이도 다양한 데이터세트에서 높은 성능을 유지하기 위해 최소이면서도 대표적인 최적화 변종 집합을 어떻게 선택할 수 있는가?
• RQ2 낮은 오버헤드로 런타임에 데이터세트 특징을 가장 잘 수행하는 최적의 최적화된 함수 버전으로 매핑하는 데 효과적인 기계 학습 기법은 무엇인가?
• RQ3 동적 재컴파일과 유사한 성능를 달성하면서도 복잡한 런타임 컴파일 인프라를 피할 수 있는 정적 멀티버전 프레임워크는 가능한가?
• RQ4 반복적인 오프라인 컴파일, 정제, 기계 학습 기반 선택의 조합이 이질적 또는 가상화 환경에서의 응용 프로그램 적응성 향상에 어떻게 기여하는가?
• RQ5 다른 분류 알고리즘을 사용하여 버전 매핑을 수행할 경우, 성능 향상, 코드 크기, 선택 오버헤드 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 정제 기반 방법은 모든 테스트 데이터세트에서 성능을 유지하면서도 최적화 변종 수를 줄여 성능 손실이 크게 발생하지 않음을 입증하였다.
• 의사결정 트리 및 규칙 유도 모델은 데이터세트 특징을 최적의 코드 버전으로 효과적으로 매핑하여 빠르고 낮은 오버헤드의 런타임 선택을 가능하게 하였다.
• 프레임워크는 동적 재컴파일이나 복잡한 런타임 시스템 없이도 정적 바이너리가 런타임에 변화하는 워크로드와 환경에 적응할 수 있도록 하였다.
• Open64를 사용한 커널에 대한 실험 평가에서 단일 버전 바이너리보다 측정 가능한 성능 향상을 보였으며, 런타임 선택 오버헤드는 최소한이었다.
• 이 방법은 다른 컴파일러, 수동으로 작성된 버전, 또는 다른 ISA에까지 확장 가능하여 가상화 및 이질적 컴퓨팅 환경에서의 배포를 지원한다.
• 프레임워크는 다양한 실행 시나리오에서 높은 성능을 유지하는 자가 조정 정적 라이브러리 및 바이너리 제작에 실용적인 가능성을 보였다.