[논문 리뷰] Accessible Visualization via Natural Language Descriptions: A Four-Level Model of Semantic Content

Alan Lundgard, Arvind Satyanarayan|arXiv (Cornell University)|2021. 10. 08.

Subtitles and Audiovisual Media인용 수 11

한 줄 요약

이 논문은 시각화의 자연어 기술서의 의미적 내용을 분류하기 위한 사례 수준 모델을 제안한다. 이는 저수준의 시각화 구성에서 고수준의 도메인 통찰에 이르기까지이다. 2,147개 문장과 120명의 참가자들을 대상으로 한 혼합 방법 연구를 통해, 시력이 불량한 독자와 시력이 정상인 독자가 서로 다른 의미 수준을 우선시한다는 점을 발견하였으며, 이는 효과적인 접근성 향상을 위해 독자별 필요와 선호에 맞게 기술서를 맞춤화해야 한다는 것을 보여준다.

ABSTRACT

Natural language descriptions sometimes accompany visualizations to better communicate and contextualize their insights, and to improve their accessibility for readers with disabilities. However, it is difficult to evaluate the usefulness of these descriptions, and how effectively they improve access to meaningful information, because we have little understanding of the semantic content they convey, and how different readers receive this content. In response, we introduce a conceptual model for the semantic content conveyed by natural language descriptions of visualizations. Developed through a grounded theory analysis of 2,147 sentences, our model spans four levels of semantic content: enumerating visualization construction properties (e.g., marks and encodings); reporting statistical concepts and relations (e.g., extrema and correlations); identifying perceptual and cognitive phenomena (e.g., complex trends and patterns); and elucidating domain-specific insights (e.g., social and political context). To demonstrate how our model can be applied to evaluate the effectiveness of visualization descriptions, we conduct a mixed-methods evaluation with 30 blind and 90 sighted readers, and find that these reader groups differ significantly on which semantic content they rank as most useful. Together, our model and findings suggest that access to meaningful information is strongly reader-specific, and that research in automatic visualization captioning should orient toward descriptions that more richly communicate overall trends and statistics, sensitive to reader preferences. Our work further opens a space of research on natural language as a data interface coequal with visualization.

연구 동기 및 목표

• 시각화의 자연어 기술서가 전달하는 의미적 내용을 이해하기 위한 체계적 프레임워크의 부재를 해결하기 위해.
• 특히 시력이 불량한 독자들을 위해 기술서가 전달하는 정보 유형을 식별하고 분류하기 위해.
• 시력이 불량한 독자와 시력이 정상인 독자 간의 그룹이 시각화 기술서의 다양한 의미 수준의 유용성에 대해 어떻게 인식하는지 평가하기 위해.
• 보다 효과적이고 독자 중심인 자동 캡션 생성 시스템을 설계하기 위한 정보를 제공하기 위해.
• 접근성 이론과 경험적 검증에 기반하여, 자연어를 시각화와 동등한 데이터 인터페이스로 위치지키기 위해.

제안 방법

• 120명 이상의 참가자가 참여한 온라인 연구에서 유래한 2,147개의 자연어 문장을 대상으로 기반 이론 분석을 수행하여 시각화 기술서에서 반복되는 의미 패턴을 규명하였다.
• 사례 수준의 개념 모델을 개발하였다: (1) 시각화 구성 성질(예: 마크, 인코딩), (2) 통계적 개념과 관계(예: 극값, 상관관계), (3) 지각적 및 인지적 현상(예: 추세, 패턴), (4) 도메인 특화 통찰(예: 사회적, 정치적 맥락).
• 다양한 도메인에 걸친 120개의 시각화 기술서를 평가하기 위해 모델을 적용하였으며, 의미 코드 분석을 통해 내용을 사례 수준으로 분류하였다.
• 시력이 불량한 참가자 30명과 시력이 정상인 참가자 90명을 대상으로 혼합 방법 평가를 실시하여, 네 가지 의미 수준에서의 기술서의 유용성 인식을 평가하였다.
• 통계적 분석(예: 비모수적 검정)을 사용하여 독자 그룹 간 선호도를 비교하고, 의미 수준의 유용성 순위에서 유의미한 차이를 식별하였다.
• 결과를 통합하여 접근성 있고 독자 민감도를 고려한 자연어 인터페이스 설계 프레임워크를 마련하였으며, 맥락 인식 캡션 생성을 강조하였다.

Figure 1: A visual “fingerprint” [ 49 ] of our corpus, faceted by chart type and difficulty. Each row corresponds to a single chart. Each column shows a participant-authored description for that chart, color coded according to our model. The first column shows the provided Level 1 prompt.

실험 결과

연구 질문

• RQ1 자연어 기술서가 시각화를 설명할 때 전달하는 의미 수준은 무엇인가?
• RQ2 시력이 불량한 독자와 시력이 정상인 독자는 시각화 기술서의 다양한 의미 수준의 유용성에 대해 어떻게 다를까?
• RQ3 다른 의미 수준(예: 통계적 vs. 맥락적)은 시각화에서 의미 있는 정보에의 효과적인 접근에 얼마나 기여하는가?
• RQ4 의미 수준의 개념 모델은 접근성 있는 시각화 기술서의 설계와 평가를 어떻게 향상시킬 수 있는가?
• RQ5 독자별 의미 수준 선호도는 시각화 접근성에서 자동 캡션 생성 시스템에 어떤 함의를 갖는가?

주요 결과

• 사례 수준 의미 모델은 시각화 기술서의 의미 스펙트럼을 기술 구성에서 고수준 도메인 통찰에 이르기까지 성공적으로 분류한다.
• 시력이 불량한 독자는 도메인 특화 통찰(수준 4)을 가장 유용하게 평가하였고, 그 다음으로 통계적 관계(수준 2)를 평가하였으며, 시력이 정상인 독자는 지각적 및 인지적 현상(수준 3)과 통계적 관계(수준 2)를 우선시하였다.
• 시력이 불량한 독자와 시력이 정상인 독자 간의 유용성 순위에 유의미한 차이가 있었으며(p < 0.01), 이는 접근성이 독자별로 매우 다르게 작용한다는 것을 시사한다.
• 전반적인 추세와 통계적 관계를 강조한 기술서는 시각적 구성이나 저수준 인코딩 세부 정보에만 초점을 맞춘 기술서보다 더 유용하게 인식되었다.
• 본 연구는 현재 자동 캡션 생성 시스템이 의미 있는 접근에 필수적인 고수준 의미적 내용을 포착하지 못함을 확인하였으며, 특히 시력이 불량한 사용자에게서 그러한 결함이 뚜렷하다.
• 결과는 향후 자동 캡션 생성 시스템이 독자 선호도에 민감하게 반응하고, 기계적 또는 구조적인 기술서보다는 풍부하고 맥락 인식 기반의 기술서를 우선시해야 한다는 것을 시사한다.