[논문 리뷰] Reverse-Engineering Information Presentations: Recovering Hierarchical Grouping from Layouts of Visual Elements

Danqing Shi, Weiwei Cui외 3명|arXiv (Cornell University)|2022. 01. 13.

Data Visualization and Analytics인용 수 4

한 줄 요약

이 논문은 정보 시각화에서 시각적 레이아웃만을 기반으로 계층적 그룹화를 자동으로 복원하기 위한 딥러닝 기반 방법을 제안한다. 트랜스포머 모델을 사용해 시각적 요소 간의 유사도를 예측하고, 하향식 알고리즘을 통해 그룹을 구성한다. 23,072장의 슬라이드로 구성된 데이터셋에서 평가한 결과, 그룹화 정확도에서 인간 수준의 성능을 달성하여 디자인 분석 및 자동화에 확장 가능한 솔루션을 제공한다.

ABSTRACT

Visual elements in an information presentation are often spatially and semantically grouped hierarchically for effective message delivery. Studying the hierarchical grouping information can help researchers and designers better explore layout structures and understand design demographics. However, recovering hierarchical grouping is challenging due to a large number of possibilities for compositing visual elements into a single-page design. This paper introduces an automatic approach that takes the layout of visual elements as input and returns the hierarchical grouping as output. To understand information presentations, we first contribute a dataset of 23,072 information presentations with diverse layouts to the community. Next, we propose our technique with a Transformer-based model to predict relatedness between visual elements and a bottom-up algorithm to produce the hierarchical grouping. Finally, we evaluate our technique through a technical experiment and a user study with 30 designers. The results show that the proposed technique is promising.

연구 동기 및 목표

• 명시적인 그룹화 주석이 존재하지 않는 정보 시각화에서 암묵적인 계층적 그룹화를 복원하는 데 도전하는 것.
• 수작업 규칙에 의존하지 않고 공간적 레이아웃만으로 의미 있는 그룹화를 추론하는 자동화된 학습 기반 방법을 개발하는 것.
• 연구를 위한 레이아웃 이해 및 디자인 분석에 기여할 수 있도록, 23,072건의 잘 설계된 정보 시각화로 구성된 대규모이고 다양한 데이터셋을 구축하는 것.
• 기술적 벤치마크와 전문 디자이너 대상 사용자 연구를 통해 제안된 방법의 실용성과 정확도를 평가하는 것.
• 디자인 보조, 애니메이션, 정보 추출과 같은 후속 응용을 가능하게 하기 위해 구조화된 레이아웃 그룹화를 제공하는 것.

제안 방법

• 공개 자료원에서 수집한 23,072건의 정보 시각화 데이터셋을 확보하였으며, 주로 파워포인트 형식을 사용하고, 시각적 요소의 공간적 및 의미적 특징을 추출하였다.
• 공간적 레이아웃 컨텍스트와 학습된 표현을 사용해 시각적 요소 간의 유사도를 예측하기 위해 트랜스포머 기반 모델을 훈련시켰다.
• 근접도 및 정렬과 같은 기하학적 관계를 더 잘 포착하기 위해 공간 인코딩을 모델에 통합하였다.
• 예측된 유사도와 공간 거리를 기반으로, 그래프 기반의 하향식 알고리즘이 요소들을 반복적으로 병합하여 계층적 그룹을 구성한다.
• 그룹화 과정은 개별 요소에서 시작하여, 유사도 점수와 공간적 근접도를 기반으로 점차 고차원 그룹으로 병합된다.
• 이 방법은 다양한 그룹화 세분성 수준을 지원하며, 계층의 다양한 수준에 맞게 조정될 수 있다.

실험 결과

연구 질문

• RQ1 의미적 콘텐츠가 명시되어 있지 않은 레이아웃만으로 딥러닝 모델이 시각적 요소 간의 유사도를 효과적으로 예측할 수 있는가?
• RQ2 자동화된 종단 간 방법이 인간 디자이너와 비교해 정보 시각화에서 계층적 그룹화를 얼마나 정확하게 복원할 수 있는가?
• RQ3 제안된 기법이 다양한 디자인 스타일과 레이아웃 구조에 대해 얼마나 일반화되는가?
• RQ4 모델의 실패 사례는 복잡한 연결선이나 의미적 조합(예: '컴퓨터'와 '휴대폰'을 별개의 개체로 간주하는 경우)과 어떤 관련이 있는가?
• RQ5 기존 프레젠테이션에서 노이즈가 많거나 일관성 없는 그룹화를 수정하는 데 실용적인 디자인 보조 도구로 활용될 수 있는가?

주요 결과

• 30명의 전문 디자이너를 대상으로 한 사용자 연구에서 제안된 기법이 인간 디자이너와 유사한 성능을 달성하여 높은 실용성 잠재력을 입증하였다.
• 트랜스포머 아키텍처에 공간 인코딩을 통합함으로써 모델의 성능이 크게 향상되어 공간적 추론 능력이 향상되었다.
• 실패 사례의 주요 원인은 다수의 형태로 구성된 복잡한 연결선과 의미적 조합(예: '컴퓨터'와 '휴대폰'을 별개의 개체로 간주하는 경우)으로, 모델이 이를 올바르게 분할하지 못한 데 기인했다.
• 23,072장의 슬라이드로 구성된 대규모 데이터셋은 향후 레이아웃 이해, 디자인 분류 및 생성 연구에 유용한 자원이 된다.
• 복잡한 배열과 혼합된 시각적 요소를 포함한 다양한 레이아웃에서도 계층적 그룹화를 성공적으로 복원하였다.
• 기존 프레젠테이션의 그룹화를 자동으로 복구하거나 재구성하는 데에도 효과적으로 활용될 수 있으며, 특히 수작업 그룹화가 일관성 없거나 잘못된 경우에 유용하다.