[논문 리뷰] Learning style similarity for searching infographics

Babak Saleh, Mira Dontcheva외 2명|arXiv (Cornell University)|2015. 01. 01.

Image Retrieval and Classification Techniques참고 문헌 18인용 수 17

한 줄 요약

이 논문은 인포그래픽의 시각적 스타일 유사도를 측정하기 위해 인터넷 설문을 통한 인간의 시각적 인지 데이터를 기반으로 한 기계학습 기반의 유사도 측정 방법을 제안한다. 색상 히스토GRAM과 기울기 히스토GRAM(HoG) 특징을 조합하여 복잡한 그래픽 디자인에서 시각적 스타일을 효과적으로 포착한다. 이 방법은 이미지 검색 작업에서 뛰어난 성능을 보이며, 시각적 특징 융합이 복잡한 그래픽 디자인에서 스타일 유사도 측정에 도움이 된다는 것을 입증한다.

ABSTRACT

Infographics are complex graphic designs integrating text, images, charts and sketches. Despite the increasing popularity of infographics and the rapid growth of online design portfolios, little research investigates how we can take advantage of these design resources. In this paper we present a method for measuring the style similarity between infographics. Based on human perception data collected from crowdsourced experiments, we use computer vision and machine learning algorithms to learn a style similarity metric for infographic designs. We evaluate different visual features and learning algorithms and find that a combination of color histograms and Histograms-of-Gradients (HoG) features is most effective in characterizing the style of infographics. We demonstrate our similarity metric on a preliminary image retrieval test.

연구 동기 및 목표

• 온라인 디자인 포트폴리오 자료를 활용한 인포그래픽 스타일 분석에 관한 연구 부족을 해결하기 위해.
• 계산적으로 효율적이고 인간의 인지에 부합하는 정확한 인포그래픽 스타일 유사도 측정 방법을 개발하기 위해.
• 인간의 인지 데이터로부터 인포그래픽 스타일을 모델링하기 위해 가장 효과적인 시각적 특징과 학습 알고리즘을 규명하기 위해.
• 실제 이미지 검색 작업에서 제안된 측정 방법의 성능을 평가하기 위해.

제안 방법

• 인간의 인지 데이터를 통해 인포그래픽 스타일 유사도를 측정하기 위해 인터넷 기반 설문 조사를 실시한다.
• 인포그래픽 이미지에서 색상 히스토GRAM과 기울기 히스토GRAM(HoG) 등의 시각적 특징을 추출한다.
• 인간이 라벨링한 유사도 판단 기반으로 기계학습 모델을 학습하여 스타일 유사도 측정 방법을 학습한다.
• 특징 조합과 알고리즘 비교를 통해 최적의 성능을 내기 위해 모델을 최적화한다.
• 학습된 유사도 측정 방법을 사용하여 사전 이미지 검색 작업에서 최종 모델을 평가한다.

실험 결과

연구 질문

• RQ1 어떤 시각적 특징이 인포그래픽 간의 스타일적 차이를 가장 잘 포착하는가?
• RQ2 다양한 기계학습 알고리즘이 인간의 인지 데이터로부터 스타일 유사도 측정 방법을 학습하는 데 어떻게 성능을 내는가?
• RQ3 학습된 유사도 측정 방법이 인포그래픽 검색 작업의 정확도를 향상시킬 수 있는가?
• RQ4 색상과 텍스처 특징이 스타일 유사도 인지에 기여하는 상대적 기여도는 얼마인가?

주요 결과

• 색상 히스토GRAM과 기울기 히스토GRAM(HoG) 특징의 조합이 스타일 유사도를 모델링하는 데 가장 높은 성능을 보였다.
• 색상과 텍스처 특징의 융합은 개별 특징 유형을 사용한 모델보다 유의미하게 뛰어난 성능을 보였다.
• 학습된 유사도 측정 방법은 사전 이미지 검색 작업에서 측정 가능한 성능 향상을 보였다.
• 인간의 인지 데이터는 시각적 직관에 부합하는 스타일 비교 측정 방법을 학습하는 데 필수적이었다.