[논문 리뷰] GuessCompx: An empirical complexity estimation in R.

Marc Agenis-Nevers, Neeraj Dhanraj Bokde외 2명|arXiv (Cornell University)|2019. 11. 04.

Data Analysis with R인용 수 4

한 줄 요약

GuessCompx는 실행 시간과 메모리 사용량을 측정하고 LOO-MSE를 사용하여 일곱 가지 표준 복잡도 모델(예: O(N), O(N²))에 맞추어 증가하는 데이터 크기의 테스트를 통해 알고리즘 또는 함수의 시간 및 메모리 복잡도를 경험적으로 추정하는 R 패키지입니다. 이는 전체 데이터셋 성능 예측과 유의성 검정 및 시각화를 제공하여 소스 코드에 접근할 필요 없이 복잡도 분석을 가능하게 합니다.

ABSTRACT

This article introduces GuessCompx which is an R package that performs an empirical estimation on the time and memory complexities of an algorithm or a function. It tests multiple increasing-sizes samples of the user's data and attempts to fit one of seven complexity functions: O(N), O(N^2), O(log(N)), etc. Based on a best fit procedure using LOO-MSE (leave one out-mean squared error), it also predicts the full computation time and memory usage on the whole dataset. Conceptually, it relies on the base R functions system.time and memory.size, the latter being only suitable for Windows users. Together with this results, a plot and a significance test are returned. Complexity is assessed with regard to the user's actual dataset through its size (and no other parameter). This article provides several examples demonstrating several cases (e.g., distance function, time series and custom function) and optimal parameters tuning. The subject of the empirical computational complexity has been relatively little studied in computer sciences, and such a package provides a reliable, convenient and simple procedure for estimation process. Further, the package does not require to have the code of the target function.

연구 동기 및 목표

• 컴퓨터 과학 분야에서 아직 탐색이 부족한 경험적 계산 복잡도 추정 분야를 해결하기 위해.
• 소스 코드에 접근할 필요 없이 신뢰성 있고 사용자 친화적인 시간 및 메모리 복잡도 추정 방법을 제공하기 위해.
• 연구자와 실무자가 경험적 프로파일링 기반으로 전체 데이터셋 성능(실행 시간 및 메모리 사용량)을 예측할 수 있도록 하기 위해.
• 거리 함수, 시계열, 사용자 정의 함수와 같은 다양한 용도에 걸쳐 복잡도 분석을 지원하기 위해.
• 기본 R 함수와 통계 피팅을 사용하여 단순하고 자동화된 복잡도 추정 절차를 제공하기 위해.

제안 방법

• 기본 R 함수인 system.time와 memory.size(윈도우 전용)를 사용하여 실행 시간과 메모리 사용량을 경험적으로 측정합니다.
• 사용자의 데이터셋에서 증가하는 크기의 샘플에 대해 대상 함수를 실행합니다.
• 관측된 성능 데이터를 LOO-MSE(일부 관측치를 제외한 평균 제곱오차)를 사용하여 일곱 가지 후보 복잡도 모델(예: O(N), O(N²), O(log N))에 맞춥니다.
• 모든 후보 모델 중에서 LOO-MSE가 최소인 모델을 최적 피팅 복잡도 모델로 선택합니다.
• 모델 적합도와 복잡도 추세를 평가하기 위해 유의성 검정과 시각화 플롯을 생성합니다.
• 최적 피팅 모델 기반으로 전체 데이터셋의 실행 시간과 메모리 사용량을 예측합니다.

실험 결과

연구 질문

• RQ1 증가하는 데이터 크기에 대해 실행된 주어진 함수의 경험적 시간 복잡도는 무엇입니까?
• RQ2 함수의 경험적 메모리 복잡도는 무엇이며, 입력 크기와 어떻게 비례합니까?
• RQ3 일곱 가지 표준 복잡도 모델(예: O(N), O(N²)) 중에서 관측된 성능 행동에 가장 잘 맞는 것은 무엇입니까?
• RQ4 작은 척도의 측정값으로부터 전체 데이터셋의 실행 시간과 메모리 사용량을 신뢰성 있게 예측할 수 있습니까?
• RQ5 진정한 알고리즘 복잡도를 식별하는 데 있어 LOO-MSE 기반 모델 선택의 정확성과 내성은 얼마나 높습니까?

주요 결과

• GuessCompx는 다양한 테스트 케이스에서 LOO-MSE를 사용하여 최적 피팅 복잡도 모델(예: O(N), O(N²))을 성공적으로 식별합니다.
• 이 패키지는 경험적 프로파일링 기반으로 전체 데이터셋의 실행 시간과 메모리 사용량을 예측할 수 있도록 합니다.
• 이 방법은 피팅된 복잡도 모델의 신뢰성을 평가하기 위한 유의성 검정을 제공합니다.
• 이 접근법은 대상 함수의 소스 코드에 접근할 필요 없이 작동하므로 사용성 향상에 기여합니다.
• 이 패키지는 거리 계산, 시계열 분석, 사용자 정의 함수 등 다양한 분야에서 실용적인 응용을 지원합니다.
• 경험적 결과는 런타임과 메모리 측정값을 증가하는 데이터 크기에서만 사용하여도 복잡도를 안정적으로 추정할 수 있음을 보여줍니다.