[논문 리뷰] Synthetically Trained Icon Proposals for Parsing and Summarizing Infographics

Spandan Madan, Zoya Bylinskii외 7명|arXiv (Cornell University)|2018. 07. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 20인용 수 13

한 줄 요약

이 논문은 인포그래픽을 분석하고 요약하기 위해 아이콘 제안을 생성하기 위해 합성 데이터로 훈련된 객체 제안 네트워크를 제안한다. 합성 데이터를 활용해 컨볼루션 신경망을 훈련시킴으로써, 아이콘 분류에서 27.2%의 top-1 정밀도와 18.0%의 평균 평균 정밀도를 달성하였으며, 이는 랜덤, 투명하지 않은, 빈 배경 기반 모델들보다 유의하게 뛰어나며 인간 수준의 성능에 가까워지고 있다.

ABSTRACT

Widely used in news, business, and educational media, infographics are handcrafted to effectively communicate messages about complex and often abstract topics including `ways to conserve the environment' and `understanding the financial crisis'. Composed of stylistically and semantically diverse visual and textual elements, infographics pose new challenges for computer vision. While automatic text extraction works well on infographics, computer vision approaches trained on natural images fail to identify the stand-alone visual elements in infographics, or `icons'. To bridge this representation gap, we propose a synthetic data generation strategy: we augment background patches in infographics from our Visually29K dataset with Internet-scraped icons which we use as training data for an icon proposal mechanism. On a test set of 1K annotated infographics, icons are located with 38% precision and 34% recall (the best model trained with natural images achieves 14% precision and 7% recall). Combining our icon proposals with icon classification and text extraction, we present a multi-modal summarization application. Our application takes an infographic as input and automatically produces text tags and visual hashtags that are textually and visually representative of the infographic's topics respectively.

연구 동기 및 목표

• 복잡한 인포그래픽을 분석하는 데 있어 핵심 시각적 아이콘을 식별하고 국소화하는 도전 과제를 해결하기 위해.
• 아이콘 제안 모델을 훈련하기 위해 비용이 많이 드는 실제 세계의 애너테이션 데이터에 대한 의존도를 줄이기 위해.
• 시각적으로 혼잡한 인포그래픽 레이아웃에서 아이콘 검출의 정확도와 강건성을 향상시키기 위해.
• 딥 러닝 모델을 위한 시각적 레이아웃 이해에 합성 데이터의 효과성을 탐색하기 위해.

제안 방법

• 레이아웃, 색상, 아이콘 배치에 대한 제어된 변형을 가진 합성된 인포그래픽을 사용해 컨볼루션 신경망을 훈련시키기 위해.
• 다양한 투명도 수준을 가진 빈 배경 또는 구조화된 배경에 아이콘을 무작위로 배치하여 다양한 훈련 샘플을 생성하기 위해.
• 합성 이미지 내에서 후보 아이콘 위치와 바운딩 박스를 예측하기 위해 영역 제안 네트워크(RPN)를 사용하기 위해.
• 실제 인포그래픽 데이터로 모델을 미세 조정하여 실제 시각적 분포에 적응시키기 위해.
• 표준 평가 지표인 아이콘 분류의 top-1 정밀도와 평균 평균 정밀도(mAP)를 사용해 모델 성능을 평가하기 위해.
• 랜덤 위치 샘플링, 투명하지 않은 아이콘, 빈 배경 설정 등 기반 모델들과의 성능 비교를 위해.

실험 결과

연구 질문

• RQ1 실제 애너테이션 데이터 없이도 합성 데이터로 모델을 효과적으로 훈련시켜 정확한 아이콘 제안을 생성할 수 있는가?
• RQ2 아이콘 검출에서 합성 훈련은 실데이터 기반 모델과 비교해 top-1 정밀도와 mAP 측면에서 어떻게 성능을 내는가?
• RQ3 배경의 복잡성과 아이콘의 투명도가 제안 품질에 어떤 영향을 미치는가?
• RQ4 합성 훈련을 통해 모델 성능과 인간 수준의 성능 간 격차를 어느 정도 줄일 수 있는가?

주요 결과

• 합성 데이터로 훈련된 모델은 아이콘 분류에서 27.2%의 top-1 정밀도와 18.0%의 mAP를 달성하였으며, 모든 기반 모델보다 유의미하게 뛰어나다.
• 랜덤 위치 기반 모델은 단지 16.7%의 top-1 정밀도와 14.2%의 mAP를 기록하여, 구조적인 제안 생성의 가치를 입증한다.
• 투명하지 않은 배경 기반 모델과 빈 배경 기반 모델은 각각 15.9%와 16.2%의 top-1 정밀도를 기록하여, 배경 디자인 자체가 성능 향상에 기여하지 않는다는 것을 확인한다.
• 인간 성능의 상한선은 55.4%의 top-1 정밀도와 57.2%의 mAP를 기록하여, 향후 향상 여지가 크다는 것을 시사한다.
• 제안된 방법은 모든 아블레이션 기반 모델을 초월하여, 합성 데이터가 아이콘 제안 작업 훈련에 효과적임을 입증한다.
• 모델의 합성 데이터에서의 성능은 실제 인포그래픽으로의 일반화가 상당히 잘 이루어지며, 강한 전이 가능성(transferability)을 시사한다.