[논문 리뷰] An Evaluation-Focused Framework for Visualization Recommendation Algorithms

Zehua Zeng, Phoebe Moh외 6명|arXiv (Cornell University)|2021. 09. 06.

Data Visualization and Analytics참고 문헌 37인용 수 4

한 줄 요약

이 논문은 시각화 추천 알고리즘을 체계적으로 비교하기 위해 평가 중심의 프레임워크를 제안한다. 이 프레임워크는 전체 설계 공간을 그래프로 모델링하고, 탐색 전략을 정의하며, 후보를 순위 매기기 위해 오라클을 사용한다. 이 프레임워크는 이론적 및 실증적 평가를 가능하게 하여, 탐색 방법(BFS 대 DFS)과 오라클 선택(Dziban 대 CompassQL)이 사용자 선호도와 시각적 설계에 노출되는 정도에 상당한 영향을 미치지만, 항상 사용자 성능에 영향을 주는 것은 아님을 드러낸다.

ABSTRACT

Although we have seen a proliferation of algorithms for recommending visualizations, these algorithms are rarely compared with one another, making it difficult to ascertain which algorithm is best for a given visual analysis scenario. Though several formal frameworks have been proposed in response, we believe this issue persists because visualization recommendation algorithms are inadequately specified from an evaluation perspective. In this paper, we propose an evaluation-focused framework to contextualize and compare a broad range of visualization recommendation algorithms. We present the structure of our framework, where algorithms are specified using three components: (1) a graph representing the full space of possible visualization designs, (2) the method used to traverse the graph for potential candidates for recommendation, and (3) an oracle used to rank candidate designs. To demonstrate how our framework guides the formal comparison of algorithmic performance, we not only theoretically compare five existing representative recommendation algorithms, but also empirically compare four new algorithms generated based on our findings from the theoretical comparison. Our results show that these algorithms behave similarly in terms of user performance, highlighting the need for more rigorous formal comparisons of recommendation algorithms to further clarify their benefits in various analysis scenarios.

연구 동기 및 목표

• 시각화 추천 알고리즘에 대한 표준화된 평가의 부족으로 인해 공정한 비교와 선택이 어렵다는 문제를 해결하기 위해.
• 알고리즘을 설계 공간 그래프, 탐색 방법, 순위 오라클의 세 가지 구성 요소로 명시하는 공식적 프레임워크를 개발하기 위해.
• 다양한 시각적 분석 작업에서 알고리즘 성능에 대한 이론적 비교와 실증적 평가를 가능하게 하기 위해.
• 알고리즘적 선택이 데이터 탐색에서 사용자 성능, 상호작용 행동 및 선호도에 미치는 영향을 조사하기 위해.
• 미래의 알고리즘 개발과 벤치마킹을 위해 재사용 가능하고 오픈소스 평가 인프라를 제공하기 위해.

제안 방법

• 시각화의 전체 설계 공간을 그래프로 모델링하여, 노드는 시각적 설계를 나타내고, 간선은 그들 사이의 변환을 나타낸다.
• 시작 지점에서부터 후보 시각화를 체계적으로 탐색하기 위해 탐색 전략(BFS, DFS 등)을 정의한다.
• 통계적 흥미로움 또는 인지적 거리와 같은 기준에 따라 후보 시각화를 순위 매기기 위해 오라클(예: CompassQL, Dziban)을 사용한다.
• 24명의 참가자로 이루어진 대조군 실험을 실시하여, 각 참가자는 한 알고리즘 변형에 노출되며, 집중적이고 개방적인 작업에서의 성능을 측정한다.
• 사용자 성능를 비교하기 위해 베이지안 통계 분석을 적용하며, 95% 신뢰구간을 사용하여 알고리즘 쌍 간의 차이가 통계적으로 유의미한지 평가한다.
• 소스 코드와 데모 영상을 OSF 레포지터리에 공개하여 재현 가능성을 확보하고 향후 평가를 용이하게 한다.

실험 결과

연구 질문

• RQ1 다른 탐색 전략(BFS 대 DFS)은 사용자에게 노출되는 시각적 설계의 다양성과 데이터 변형의 수에 어떤 영향을 미치는가?
• RQ2 다른 순위 오라클(CompassQL 대 Dziban)은 시각적 분석 작업에서 사용자 성능 및 선호도에 어떤 영향을 미치는가?
• RQ3 알고리즘적 선택은 데이터 탐색에서 사용자 상호작용 행동과 인식된 유용성에 얼마나 큰 영향을 미치는가?
• RQ4 표준화된 평가 프레임워크는 시각화 추천 알고리즘에 대한 더 엄격하고 비교 가능한 평가를 가능하게 할 수 있는가?
• RQ5 사용자 선호도와 성능는 집중적 작업과 개방적 작업 간에 어떻게 다름이 있는가?

주요 결과

• BFS 탐색은 Dziban을 오라클로 사용할 경우, DFS보다 훨씬 더 많은 고유한 변수 조합과 시각적 설계를 노출시켰다.
• 사용자들은 유용성과 사용 편의성 측면에서 BFS를 DFS보다 유의미하게 선호했지만, 작업 성능에는 유의미한 차이가 없었다.
• 모든 사용자 평가 지표(효율성, 유용성, 사용 편의성, 총합)에서 Dziban이 CompassQL보다 유리했지만, 통계적 유의미성은 없었다.
• 특히 개방적 작업에서 Dziban이 더 많은 시각적 설계와 데이터 변형을 노출시켜 더 나은 탐색 지원 기능을 제공함을 시사했다.
• 집중적 작업에서 Dziban과 CompassQL 간의 사용자 성능에 유의미한 차이가 없었으며, Dziban의 인지적 거리 기반 순위 매기기 향상에도 불구하고 그러한 차이가 나타나지 않았다.
• 사용자 선호도는 작업 유형에 따라 달라졌으며, 이는 어떤 한 알고리즘도 모든 분석 시나리오에서 최적의 성능을 내지 못하며, 작업 유형에 맞는 알고리즘 선택이 필요할 수 있음을 시사한다.