[논문 리뷰] Utilizing Distance Metrics on Lineups to Examine What People Read From Data Plots

Niladri Roy Chowdhury, Dianne Cook외 3명|arXiv (Cornell University)|2014. 08. 08.

Data Mining Algorithms and Applications참고 문헌 14인용 수 4

한 줄 요약

이 논문은 시각적 가설 검증 도구인 라인업의 품질을 평가하기 위해 거리 척도를 도입한다. 이 도구는 인간 판단을 위해 진짜 데이터 플롯을 null 플롯들 사이에 삽입한다. 최소, 평균, 구간화된 분리 거리로 진짜 데이터 플롯이 null 플롯들로부터 얼마나 떨어져 있는지를 측정함으로써, 이 연구는 이러한 척도가 인간의 탐지율과 반응 시간과 강하게 상관됨을 보여주며, 인간 테스트 이전에 라인업의 효과성을 사전 평가할 수 있도록 한다.

ABSTRACT

Graphics play a crucial role in statistical analysis and data mining. This paper describes metrics developed to assist the use of lineups for making inferential statements. Lineups embed the plot of the data among a set of null plots, and engage a human observer to select the plot that is most different from the rest. If the data plot is selected it corresponds to the rejection of a null hypothesis. Metrics are calculated in association with lineups, to measure the quality of the lineup, and help to understand what people see in the data plots. The null plots represent a finite sample from a null distribution, and the selected sample potentially affects the ease or difficulty of a lineup. Distance metrics are designed to describe how close the true data plot is to the null plots, and how close the null plots are to each other. The distribution of the distance metrics is studied to learn how well this matches to what people detect in the plots, the effect of null generating mechanism and plot choices for particular tasks. The analysis was conducted on data that has already been collected from Amazon Turk studies conducted with lineups for studying an array of data analysis tasks.

연구 동기 및 목표

• 라인업에서 진짜 데이터 플롯이 null 플롯들로부터 얼마나 뚜렷하게 시각적으로 다를지를 수량화하는 거리 척도를 개발하는 것.
• 이러한 거리 척도가 라인업 기반 시각적 추론 작업에서 인간이 진짜 데이터 플롯을 식별하는 데 성과를 예측할 수 있는지 평가하는 것.
• 다양한 null 생성 메커니즘과 플롯 유형이 거리 기반 측정치를 통해 진짜 패턴의 탐지 가능성에 미치는 영향을 이해하는 것.
• 인간 피실험자 테스트에 의존하는 데 드는 비용을 줄이기 위해 거리 척도를 사용한 사전 스크리닝 도구를 제공하는 것.
• 최소, 평균, 구간화된 거리 척도와 같은 다양한 거리 척도가 데이터 플롯의 시각적 차이를 인간이 어떻게 인지하는지를 얼마나 잘 포착하는지 비교하는 것.

제안 방법

• 세 가지 거리 척도 정의: 최소 분리 거리(다른 클러스터에 속한 두 점 사이의 최소 거리), 평균 분리 거리(다른 클러스터에 속한 점들 간의 평균 거리), 구간화 거리(히스토그램 기반 공간 분포에 기반함).
• 실제 데이터와 null 모델에서 생성된 라인업에 이러한 척도를 적용하며, 회귀선이 있는 산점도와 고차원 데이터의 두 차원 투영을 사용한다.
• 각 척도를 사용해 진짜 데이터 플롯과 모든 null 플롯 간의 거리를 비교하고, 진짜 플롯에서 가장 가까운 null 플롯으로의 정규화된 거리를 '차이' 점수로 계산한다.
• 인간 피실험자들이 m=20인 라인업에서 가장 다른 플롯을 식별한 Amazon Mechanical Turk 연구 데이터를 사용한다.
• 거리 척도의 차이와 인간의 반응 변수인 탐지율과 반응 시간 간의 관계를 분석한다.
• 통계적 모델링을 통해 각 거리 척도가 인간 행동을 얼마나 잘 예측하는지 평가하며, 변동성과 비선형 효과도 고려한다.

실험 결과

연구 질문

• RQ1 거리 척도는 라인업 기반 시각적 추론 작업에서 인간의 탐지율을 얼마나 잘 예측하는가?
• RQ2 최소, 평균, 또는 구간화된 분리 거리 중 어떤 척도가 데이터 플롯의 시각적 차이를 인간의 인지에 가장 잘 반영하는가?
• RQ3 거리 척도의 분포는 라인업에서 진짜 플롯을 식별하는 데의 어려움과 어떻게 관련되어 있는가?
• RQ4 null 플롯 생성 메커니즘과 플롯 유형이 거리 척도가 인간 반응을 예측하는 데 미치는 영향은 어느 정도인가?
• RQ5 거리 척도를 사용해 인간 평가 이전에 라인업 품질을 사전 평가할 수 있는가? 이는 실험 비용을 줄이는 데 기여하는가?

주요 결과

• 거리 차이가 클수록 탐지율이 증가하며, 최소 거리와 평균 거리 모두 인간이 시각적 차이를 감지하는 민감도를 효과적으로 포착한다.
• 거리 차이가 클수록 반응 시간이 유의미하게 감소하며, 세 가지 거리 척도 모두 강한 음의 상관관계를 보인다.
• 구간화 거리 척도는 특히 작은 거리 차이에서 반응 시간의 변동성이 더 크지만, 여전히 명확한 음의 경향을 보인다.
• 이상치가 평균에 영향을 주는 고차원, 저표본 크기 설정에서는 최소 분리 거리가 평균 분리 거리보다 더 우수한 성능을 보인다.
• 거리 척도를 통해 라인업 품질을 사전에 식별할 수 있다. 예를 들어, 최소 분리 거리가 양수이면 진짜 플롯이 시각적으로 뚜렷하다는 것을 의미하고, 평균 분리 거리가 음수면 null 플롯들과 유사하다는 것을 시사한다.
• 거리 척도 선택은 인간의 선택 이유와 일치시켜야 한다. 예를 들어, 회귀 기울기 탐지에는 회귀 기반 거리 척도가 적합하고, 이상치 탐지에는 높은 구간 수의 구간화 거리 척도가 유리하다.