[논문 리뷰] Enhancing the Interactivity of Dataframe Queries by Leveraging Think Time

Doris Xin, Devin Petersohn외 6명|arXiv (Cornell University)|2021. 03. 03.

Data Visualization and Analytics참고 문헌 10인용 수 5

한 줄 요약

이 논문은 데이터 분석 워크플로에서 사양과 실행을 분리함으로써 비핵심 데이터프레임 연산을 사용자가 동작 사이에 일시정지하는 '생각 시간(think time)' 동안 연기함으로써 상호작용 지연을 줄이는 '기회적 평가(opportunistic evaluation)' 프레임워크를 제안한다. 상호작용에 필수적인 경로를 식별하고 향후 결과가 나올 가능성이 높은 것을 사전에 계산함으로써, 사용자에게 직접 영향을 주는 쿼리에 대해 빠른 피드백을 제공하면서도 비어 있는 CPU 자원을 활용하여 head() 및 describe()와 같은 핵심 연산에 대해 거의 즉각적인 피드백을 제공한다.

ABSTRACT

We propose opportunistic evaluation, a framework for accelerating interactions with dataframes. Interactive latency is critical for iterative, human-in-the-loop dataframe workloads for supporting exploratory data analysis. Opportunistic evaluation significantly reduces interactive latency by 1) prioritizing computation directly relevant to the interactions and 2) leveraging think time for asynchronous background computation for non-critical operators that might be relevant to future interactions. We show, through empirical analysis, that current user behavior presents ample opportunities for optimization, and the solutions we propose effectively harness such opportunities.

연구 동기 및 목표

• 대규모 데이터셋에서 데이터 검증 및 탐색적 데이터 분석(EDA) 과정에서 발생하는 높은 상호작용 지연 문제를 해결한다.
• 사용자가 동작 사이에 일시정지하는 '생각 시간(think time)' 동안에도 시스템이 비어 있는 상태임에도 불구하고 가용한 CPU 자원을 활용할 수 있음을 인식한다.
• 사용자 쿼리 사양을 즉각적인 실행과 분리하여 생각 시간 동안 비핵심 연산을 배경에서 계산할 수 있도록 한다.
• 사용자가 직접 확인하는 결과에 영향을 주는 연산(상호작용)을 우선 처리하고 나머지는 연기함으로써 상호작용성을 향상시킨다.
• 사용자 행동을 변경하거나 쿼리 재작성 없이도 종합적인 쿼리 최적화와 잠재적으로 유용한 결과의 사전 실행을 가능하게 한다.

제안 방법

• head(), describe(), df.columns 등 사용자에게 보이는 출력을 생성하는 연산을 '상호작용(interactions)'으로 식별하고, 프로그램 슬라이싱을 사용하여 의존성을 파악함으로써 그들의 '핵심 경로(critical path)'를 정의한다.
• 사용자 시각적 출력에 영향을 주는 '핵심(critical)' 연산과 영향을 주지 않는 '비핵심(non-critical)' 연산으로 연산을 분류하여 실행 순서를 결정한다.
• 핵심 연산을 우선 처리하여 즉각적인 피드백을 제공하고, 비핵심 연산은 사용자 생각 시간 동안 연기하여 실행한다.
• 관찰된 사용자 패턴과 쿼리 구조를 바탕으로 향후 단계에서 필요로 할 수 있는 결과를 사전 실행함으로써 사전 실행(speculative execution)을 활용한다.
• 기존의 데이터베이스 및 컴파일러 최적화 기법인 조건자 이동(pipeline pushdown), 연산자 재정렬, 공통 표현식 제거 등을 연산 DAG에 적용한다.
• 비동기 작업 스케줄링을 통해 Jupyter 노트북 환경에 프레임워크를 통합함으로써 사용자 상호작용을 차단하지 않고도 배경에서 계산을 수행할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 사용자 행동을 변경하지 않고도 상호작용 데이터 분석 워크플로에서 생각 시간을 효과적으로 활용해 인식된 지연을 줄일 수 있는가?
• RQ2 어떻게 하면 데이터프레임 쿼리의 어떤 부분이 사용자 상호작용에 필수적인지, 어떤 부분을 연기할 수 있는지 자동으로 식별할 수 있는가?
• RQ3 비핵심 연산의 사전 실행이 반복적인 데이터 검증 및 EDA 환경에서 반응성을 얼마나 향상시킬 수 있는가?
• RQ4 실제 데이터프레임 워크로드에서 쿼리 사양을 즉각적인 실행과 분리함으로써 얻을 수 있는 성능 향상은 어느 정도인가?
• RQ5 기존 최적화 전략과 비교했을 때 기회적 평가는 지연 감소와 사용성 측면에서 어떤가?

주요 결과

• 실제 사례에서 read_csv 연산은 18.5초가 걸렸지만, 기회적 평가를 적용한 결과 사용자는 첫 5행(head)과 열 이름을 단 122ms 만에 확인할 수 있었으며, 이는 인식된 상호작용성 향상에 기여했다.
• 사용자는 16.2초 동안 출력을 검토하는 데 소요되었고, 이 동안 시스템은 비어 있는 CPU 자원을 활용해 비핵심 결과를 사전 계산함으로써 재실행이 필요한 고비용 연산의 필요성을 줄였다.
• 기회적 평가 없이라면 이미 head()를 기다린 후에도 data.columns 출력을 얻기까지 추가 2.3초가 더 소요되었을 것이지만, 프레임워크를 통해 이는 배경에서 사전 계산되어 있었다.
• 비필수 계산을 연기하고 즉각적인 검토에 필요한 것만 우선 처리함으로써 총 사용자 인식 지연을 줄였다.
• 핵심 상호작용(예: head, describe, columns)에 대해 거의 즉각적인 피드백을 제공하면서도 대규모 데이터셋을 배경에서 효율적으로 처리함으로써 성능을 확보했다.
• 프로그램 슬라이싱, 조건자 이동, 다중 쿼리 최적화와 같은 기존 최적화 기법을 성공적으로 활용하여 효율적인 배경 계산을 가능하게 하였다.