[논문 리뷰] Text-to-Viz: Automatic Generation of Infographics from Proportion-Related Natural Language Statements

Weiwei Cui, Xiaoyu Zhang외 7명|arXiv (Cornell University)|2019. 07. 22.

Data Visualization and Analytics참고 문헌 61인용 수 11

한 줄 요약

이 논문은 자연어 문장에서 비율에 관한 정보를 자동으로 추출하고, 이를 사전에 설계된 시각적 템플릿에 매핑하여 전문적인 인포그래픽을 자동으로 생성하는 Text-to-Viz 시스템을 제안한다. 이는 CRF 기반 텍스트 이해 기법과 설계 공간 기반 인포그래픽 합성 프레임워크를 조합한 것으로, 디자인 전문 지식 없이도 미려하고 즉시 사용 가능한 인포그래픽을 생성할 수 있으며, 사용자 평가와 전문가 리뷰를 통해 실현 가능성을 입증한다.

ABSTRACT

Combining data content with visual embellishments, infographics can effectively deliver messages in an engaging and memorable manner. Various authoring tools have been proposed to facilitate the creation of infographics. However, creating a professional infographic with these authoring tools is still not an easy task, requiring much time and design expertise. Therefore, these tools are generally not attractive to casual users, who are either unwilling to take time to learn the tools or lacking in proper design expertise to create a professional infographic. In this paper, we explore an alternative approach: to automatically generate infographics from natural language statements. We first conducted a preliminary study to explore the design space of infographics. Based on the preliminary study, we built a proof-of-concept system that automatically converts statements about simple proportion-related statistics to a set of infographics with pre-designed styles. Finally, we demonstrated the usability and usefulness of the system through sample results, exhibits, and expert reviews.

연구 동기 및 목표

• 디자인 전문 지식이나 복잡한 도구를 익히는 데 시간을 들일 수 없는 일반 사용자들이 인포그래픽 제작을 쉽게 접근할 수 있도록 하는 데 도전한다.
• 비율에 관한 자연어 문장을 시각적으로 매력적이고 전문적인 스타일의 인포그래픽으로 자동 변환하는 방법을 탐색한다.
• 수동 디자인 또는 복잡한 도구 상호작용이 필요 없도록 저감함으로써 제작 부담을 줄이며, 사용성과 인지 효과성에 중점을 둔다.
• 실제 사례와 전문가 피드백을 바탕으로 시연된 프로토타입 시스템을 통해 자동 인포그래픽 생성의 실현 가능성을 입증한다.

제안 방법

• 실제 인포그래픽 문장의 수작업 레이블링 코퍼스를 기반으로 훈련된 CRF 기반 모델을 사용하여 자연어에서 비율 관련 데이터(예: 퍼센트, 카테고리 등)를 추출한다.
• 100개 이상의 실제 인포그래픽을 대상으로 설계 공간 분석을 수행하여 일반적인 시각적 패턴, 스타일 및 구조적 구성 요소를 규명하고, 이를 합성에 활용한다.
• 추출된 데이터와 사전 정의된 스타일 템플릿을 기반으로 시각 요소(예: 원형 차트, 막대 그래프, 아이콘, 색상 조합 등)를 조합하여 인포그래픽을 구성하는 모듈식 프레임워크를 설계한다.
• 아이콘 선택은 의미적 관련성과 시각적 조화를 평가하는 랭킹 메커니즘에 의해 안내되나, 일부 경우에서 실패 원인이 된다.
• 다양한 출력 스타일을 지원하며, 사용자가 개인 취향에 따라 생성된 인포그래픽을 선택하거나 수정할 수 있다.
• 텍스트 분석기에서 저신뢰도 예측을 줄이기 위해 임계값 기반 필터링 메커니즘을 적용하여 시스템의 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 비율에 관한 자연어 문장은 신뢰성 있게 분석되어 적절한 시각적 표현으로 매핑될 수 있는가?
• RQ2 전문적인 인포그래픽에서 일관되게 사용되는 설계 패턴과 구조적 요소는 무엇이며, 이를 체계적으로 재사용할 수 있는가?
• RQ3 규칙 기반, 템플릿 기반 시스템이 사용자 디자인 입력 없이도 시각적으로 매력적이고 인지적으로 효과적인 인포그래픽을 생성할 수 있는가?
• RQ4 일반 사용자는 자동 생성된 인포그래픽을 수동으로 제작한 것과 비교해 어떻게 인식하고 상호작용하는가?
• RQ5 자동 인포그래픽 생성에서 주요 실패 원인은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 이 시스템은 NLP와 설계 패턴 재사용을 조합하여 비율 관련 문장을 다양한 전문 스타일의 인포그래픽으로 성공적으로 변환한다.
• 전문가 리뷰와 사용자 피드백을 통해 생성된 인포그래픽의 사용성과 인식된 품질이 확인되어 시스템의 실용적 타당성이 뒷받침된다.
• CRF 기반 텍스트 분석기는 간단하거나 중간 정도로 복잡한 문장에서는 충분한 정확도를 달성하지만, 긴 또는 모호한 입력에서는 성능이 저하된다.
• 아이콘 불일치와 텍스트 래핑 문제는 주요 실패 원인으로 밝혀졌으며, 특히 기술적 설명이 너무 길거나 아이콘이 의미적으로 부적절할 경우에 심해진다.
• 현재 시스템의 한계는 비율에서 중첩된 카테고리와 같은 모호한 데이터 관계를 처리하는 데 있다. 이는 현재 모델의 수준을 초월한 깊은 의미 이해가 필요하다.
• 한계가 있음에도 불구하고, 프로토타입은 자동 인포그래픽 생성이 일반 사용자가 신속하고 효과적인 시각적 커뮤니케이션을 위해 실현 가능하고 유용하다는 것을 입증한다.