[논문 리뷰] Determinism, Complexity, and Predictability in Computer Performance

Joshua Garland, Ryan G. James외 1명|arXiv (Cornell University)|2013. 05. 23.

Evolutionary Algorithms and Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 복잡한 컴퓨터 성능 트레이스에 대해 결정론적 예측 모델이 실패하는 이유를 조사한다. 시스템이 본질적으로 결정론적이지만, 시간적 복잡성의 정도에 따라 성능 예측 정확도가 크게 영향을 받는다. 순열 엔트로피를 시간적 복잡성의 척도로 사용하여, 높은 엔트로피는 특히 gcc와 sphinx3와 같은 복잡한 프로그램에서 예측 정확도가 떨어지는 데 강한 상관관계가 있음을 보여준다. 반면 간단한 마이크로커nel의 경우 낮은 엔트로피를 유지하여 매우 예측 가능하다.

ABSTRACT

Computers are deterministic dynamical systems (CHAOS 19:033124, 2009). Among other things, that implies that one should be able to use deterministic forecast rules to predict their behavior. That statement is sometimes-but not always-true. The memory and processor loads of some simple programs are easy to predict, for example, but those of more-complex programs like compilers are not. The goal of this paper is to determine why that is the case. We conjecture that, in practice, complexity can effectively overwhelm the predictive power of deterministic forecast models. To explore that, we build models of a number of performance traces from different programs running on different Intel-based computers. We then calculate the permutation entropy-a temporal entropy metric that uses ordinal analysis-of those traces and correlate those values against the prediction success

연구 동기 및 목표

• 본질적으로 결정론적인 시스템이지만, 복잡한 컴퓨터 성능 트레이스에 대해 결정론적 예측 모델이 실패하는 이유를 이해하는 것.
• 결정론적 시스템에서도 시간적 복잡성이 예측 가능성을 저하시키는 역할을 분석하는 것.
• 순열 엔트로피가 컴퓨터 성능 지표의 예측 가능성에 대해 신뢰할 수 있는 예측 변수로 기능하는지 평가하는 것.
• 정규화된 제곱근 평균 예측 오차(nRMSPE)를 사용하여 마이크로커널과 복잡한 벤치마크 간의 예측 정확도를 비교하는 것.
• 예측 가능하고 효과적으로 예측 불가능한 성능 동역학을 구분하는 순열 엔트로피의 임계값을 규명하는 것.

제안 방법

• 프로세서 로드와 캐시 미스 비율의 시간 지연 관측값을 이용해 성능 트레이스의 상태공간 역학을 재구성하기 위해 지연좌표 임bedding 기법을 적용한다.
• 평균 상호정보량과 가짜 근접 이웃 방법을 사용하여 최적의 임베딩 파라미터(지연 시간 τ 및 차원 m)를 추정한다.
• 순서 패턴의 순서 n을 사용하여 성능 시계열의 순열 엔트로피(PE)를 계산하고, log₂(n!)로 정규화하여 0에서 1 사이의 값을 얻는다.
• 재구성된 역학을 기반으로 단순한 결정론적 예측 모델을 구축하고, 정규화된 제곱근 평균 예측 오차(nRMSPE)를 통해 예측 정확도를 산출한다.
• n = 4, 5, 6에 대해 순열 엔트로피 값을 nRMSPE와 상관 분석하여 다양한 프로그램과 시스템 지표에서의 예측 가능성 추세를 평가한다.
• 증가하는 단어 길이 n에 따른 PE의 수렴성을 분석하여 유한한 데이터 길이의 영향을 고려한 지속적 엔트로피 수준을 추정한다.

실험 결과

연구 질문

• RQ1 순열 엔트로피는 결정론적 시스템에서 컴퓨터 성능 트레이스의 예측 가능성을 어느 정도 예측할 수 있는가?
• RQ2 시스템이 결정론적임에도 불구하고 gcc와 sphinx3와 같은 복잡한 프로그램에 대해 결정론적 예측 모델이 실패하는 이유는 무엇인가?
• RQ3 다양한 성능 지표와 프로그램 간의 순열 엔트로피 수준과 예측 정확도(nRMSPE) 간의 관계는 어떠한가?
• RQ4 유한한 데이터 길이는 지속적 순열 엔트로피 추정과 그 예측 능력에 어떤 영향을 미치는가?
• RQ5 예측 가능하고 효과적으로 예측 불가능한 성능 동역학을 구분하는 식별 가능한 엔트로피 임계값이 존재하는가?

주요 결과

• 403.gcc와 482.sphinx3의 트레이스에서 관찰된 순열 엔트로피 값이 0.97 이상일 경우, 결정론적 예측 모델이 뛰어난 성능을 내기 어려울 정도로 높은 시간적 복잡성이 발생하며, 이는 높은 nRMSPE(0.1416–0.3670)와 강하게 상관된다.
• 낮은 순열 엔트로피를 보이는 트레이스(예: col_major 캐시 미스의 경우 n=4일 때 0.5029)는 높은 예측 가능성을 보이며, nRMSPE가 0.0080까지 낮아 강력한 예측 가능성의 증거가 된다.
• row_major 및 col_major 캐시 미스 트레이스의 지속적 순열 엔트로피(0.5–0.6)는 혼돈 동역학과 일치하며, 단순 마이크로커널에서 혼돈 애트랙터가 존재한다는 이전 연구 결과를 지지한다.
• 마이크로커널의 프로세서 로드 트레이스는 캐시 미스 트레이스보다 더 높은 시간적 복잡성(Pe ≈ 0.8–0.97)을 보이며, 이는 기저 수준의 낮은 값과 더 높은 변동성 때문일 수 있다.
• 순열 엔트로피는 증가하는 단어 길이 n에 따라 감소하지만, 감소 속도는 트레이스에 따라 다르다. 일부 트레이스에서 느린 감소 경향은 이론적 점근선에 더 가까운 상태를 나타내며, 더 안정적인 엔트로피 추정이 가능함을 시사한다.
• 이 연구는 실용적 임계값을 규명했다: PE ≤ 0.7은 매우 예측 가능한 트레이스(nRMSPE < 0.01)를 나타내며, PE ≥ 0.97는 거의 백색 잡음 수준의 복잡성을 의미하여 결정론적 모델이 효과를 잃게 된다.