[논문 리뷰] Using High-Rising Cities to Visualize Performance in Real-Time

Katsuya Ogami, Raula Gaikovina Kula외 3명|arXiv (Cornell University)|2017. 09. 18.

Software System Performance and Reliability인용 수 3

한 줄 요약

이 논문은 고층 건물 도시에서 건물 높이가 실행 시간을 반영하고 도시 구조가 코드 구성에 대응하는 실시간 3D CodeCity 시각화를 제안한다. 이는 런타임 중 성능 저하 요인과 메모리 누수를 즉각적으로 탐지할 수 있도록 하여, 자바 애플리케이션의 상호작용적이고 공간화된 프로파일링을 통해 개발자의 상황 인식 능력을 향상시킨다.

ABSTRACT

For developers concerned with a performance drop or improvement in their software, a profiler allows a developer to quickly search and identify bottlenecks and leaks that consume much execution time. Non real-time profilers analyze the history of already executed stack traces, while a real-time profiler outputs the results concurrently with the execution of software, so users can know the results instantaneously. However, a real-time profiler risks providing overly large and complex outputs, which is difficult for developers to quickly analyze. In this paper, we visualize the performance data from a real-time profiler. We visualize program execution as a three-dimensional (3D) city, representing the structure of the program as artifacts in a city (i.e., classes and packages expressed as buildings and districts) and their program executions expressed as the fluctuating height of artifacts. Through two case studies and using a prototype of our proposed visualization, we demonstrate how our visualization can easily identify performance issues such as a memory leak and compare performance changes between versions of a program. A demonstration of the interactive features of our prototype is available at https://youtu.be/eleVo19Hp4k.

연구 동기 및 목표

• VirtualVM 및 JProfiler와 같은 전통적인 스냅샷 기반 프로파일러에서 발생하는 지연과 제한된 구조적 통찰 문제를 해결하기 위해.
• 특히 게임과 같은 GUI 중심 애플리케이션에서 활성 프로그램 실행 중 실시간 성능 모니터링을 가능하게 하기 위해.
• 코드 구조와 실행 동적 특성을 3D 도시 은유를 통해 함께 시각화하여 개발자의 성능 이해도를 향상시키기 위해.
• 소프트웨어 개발 과정에서 성능 저하 및 스레드 관련 문제를 탐지하기 위한 실시간 시각화의 실용성을 평가하기 위해.
• 기본 메트릭을 넘어서 복잡한 소프트웨어 시스템에 대한 성능 프로파일링에서 CodeCity 은유의 확장성과 사용성 탐색을 위해.

제안 방법

• 클래스, 패키지와 같은 자바 프로그램 구성 요소를 건물, 지역과 같은 3D 도시 요소로 매핑하여 코드 구조를 표현하기 위해.
• 프로그램 실행 중 실시간 CPU 또는 메모리 사용량을 반영하기 위해 건물 높이의 변동을 활용하기 위해.
• JVM 기반 애플리케이션으로부터 실시간 프로파일링 데이터를 취합하여 시각화 엔진에 통합하고 동적 업데이트를 구현하기 위해.
• 사용자 상호작용이나 코드 변경에 대한 반응으로 성능 변화를 관찰할 수 있도록 상호작용 가능한 프로토타입을 구현하기 위해.
• CodeCity 은유를 활용해 구성 요소 간의 공간적 관계를 유지함으로써 성능 핫스팟을 더 잘 인식할 수 있도록 하기 위해.
• 사례 연구를 통해 시각화가 스레드 누수와 소프트웨어 버전 간 성능 변화를 탐지하는 데의 능력을 검증하기 위해.

실험 결과

연구 질문

• RQ1 기존의 스냅샷 기반 프로파일러에 비해 프로그램 실행의 실시간 3D 시각화가 성능 저하 요인 탐지에 얼마나 효과적인가?
• RQ2 CodeCity 은유는 코드 구성 요소 간의 구조적 관계와 성능 행동을 얼마나 잘 드러내는가?
• RQ3 사용자 상호작용 중 실시간으로 메모리 누수 또는 스레드 관련 문제를 탐지하는 데에 이 시각화가 얼마나 유용한가?
• RQ4 성능의 동적이고 공간화된 표현 방식이 소프트웨어 유지보수 및 리팩터링 과정에서 개발자의 이해도를 어떻게 향상시키는가?
• RQ5 대규모 또는 복잡한 소프트웨어 시스템에 대해 CodeCity를 사용할 때의 실용적 한계와 확장성은 무엇인가?

주요 결과

• 실시간 시각화 덕분에 테트리스 게임 프로토타입에서 오래된 스레드가 지속적인 건물 높이 변동을 유발하는 스레드 누수를 즉각 탐지할 수 있었다.
• 프로토타입은 소프트웨어 시스템의 다양한 버전 간 성능 저하 및 향상 상황을 성공적으로 시각화하여 버전 비교를 지원했다.
• 사용자 상호작용 중 가장 극적인 높이 변동을 보인 건물(클래스)을 관찰함으로써 개발자들이 직관적으로 성능 핫스팟을 인지할 수 있었다.
• 기존의 막대 차트 기반 프로파일러가 구조적 맥락을 은폐하는 데 비해, 이 시각화는 구성 요소 간 관계에 대한 더 나은 맥락 인식을 제공했다.
• GUI 중심 애플리케이션에서 실시간 피드백이 사용자 상호작용 중 성능 이상을 드러내는 데 실용적인 가치를 보였다. 이는 정적 프로파일링으로는 놓쳤을 문제들을 포착할 수 있었다.
• 이 방법은 더 큰 코드베이스로의 확장 가능성 잠재력을 보였지만, 다중 스레드 환경에서의 시각적 혼잡함과 성능 오버헤드 문제는 향후 최적화가 필요하다.