[논문 리뷰] Understanding Infographics through Textual and Visual Tag Prediction

Zoya Bylinskii, Sami Alsheikh외 6명|arXiv (Cornell University)|2017. 09. 26.

Image Retrieval and Classification Techniques참고 문헌 8인용 수 32

한 줄 요약

이 논문은 인포그래픽에서 시각적 해시태그 탐지를 소개하며, 임bedded된 텍스트에서 텍스트 태그를 예측하고 이를 시각적 특징 국소화를 위한 지도 신호로 사용하여 진단용 시각적 영역—'시각적 해시태그'—를 파ッチ 기반 딥러닝 프레임워크를 통해 국소화한다. 이 방법은 시각적 해시태그 예측에서 15.2%의 정밀도를 달성하여, 명시적 객체 학습 없이도 인포그래픽 내 텍스트가 대표적인 시각적 콘텐츠를 정확하게 국소화할 수 있음을 보여준다.

ABSTRACT

We introduce the problem of visual hashtag discovery for infographics: extracting visual elements from an infographic that are diagnostic of its topic. Given an infographic as input, our computational approach automatically outputs textual and visual elements predicted to be representative of the infographic content. Concretely, from a curated dataset of 29K large infographic images sampled across 26 categories and 391 tags, we present an automated two step approach. First, we extract the text from an infographic and use it to predict text tags indicative of the infographic content. And second, we use these predicted text tags as a supervisory signal to localize the most diagnostic visual elements from within the infographic i.e. visual hashtags. We report performances on a categorization and multi-label tag prediction problem and compare our proposed visual hashtags to human annotations.

연구 동기 및 목표

• 인포그래픽을 이해하기 위한 계산 기반 방법의 부족을 해결하기 위해, 새로운 작업으로 시각적 해시태그 탐지를 도입한다.
• 인포그래픽 내 임bedded된 텍스트를 활용하여 주제 관련 영역의 시각적 특징 국소화를 해석하고 안내한다.
• 먼저 인포그래픽 텍스트에서 텍스트 태그를 예측한 다음, 이 태그를 사용해 진단용 시각적 요소를 국소화하는 이중 단계 시스템을 개발한다.
• 650개의 이미지-태그 쌍에 대한 인간 레이블링된 바운딩 박스와 비교하여 시각적 해시태그 품질을 평가한다.
• 인포그래픽에서 추출한 텍스트가 복잡하고 시각적으로 rich한 미디어에서 시각 인식 성능을 크게 향상시킬 수 있음을 입증한다.

제안 방법

• 디자이너가 할당한 레이블과 메타데이터를 포함한 26개 카테고리, 391개 태그로 구성된 29,000개의 인포그래픽으로 구성된 정제된 데이터셋을 사용한다.
• 각 인포그래픽에서 텍스트를 추출하고, 단일 은닉층 신경망을 통해 48.2%의 상위-1 평균 정밀도로 텍스트 태그를 예측한다.
• 이미지 영역을 처리하기 위해 파치 기반 딥러닝 다중인스턴스 학습 모델을 사용하며, 예측된 텍스트 태그로 제약을 두어 진단용 시각적 요소를 국소화한다.
• 시각 모델의 활성화 맵을 사용해 시각적 영역 제안을 생성하고, SharpMask 및 세그멘테이션 파이프라인을 통해 보완하여 최종 시각적 해시태그를 생성한다.
• SharpMask가 실패할 경우에도 제안을 보장하기 위해 후행 전략(Ours-fallback)을 사용하여 재현율을 높였지만 정밀도는 낮아진다.
• 텍스트적 맥락과 시각적 특징을 동시에 활용하여, 대규모이고 복잡한 인포그래픽에서 국소화 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 인포그래픽 내부에 임bedded된 텍스트를 사용하여 진단용 시각적 영역의 국소화를 향상시킬 수 있는가?
• RQ2 텍스트 태그 예측 후 시각 기반 국소화를 수행하는 이중 단계 접근법이 대표적인 시각적 해시태그를 생성하는 데 얼마나 효과적인가?
• RQ3 예측된 텍스트 태그가 인포그래픽 내 주제 관련 시각적 요소를 식별하기 위한 지도 신호로 얼마나 유용한가?
• RQ4 자동 생성된 시각적 해시태그의 성능은 인간 레이블링 기준값과 비교해 어떻게 되는가?
• RQ5 명시적 객체 검출 없이 학습된 모델도 rich하고 다수의 요소를 포함한 인포그래픽에서 의미 있는 시각적 콘텐츠를 국소화할 수 있는가?

주요 결과

• 제안된 방법은 시각적 해시태그 예측에서 15.2%의 정밀도를 달성하여, SalNet(10.9%) 및 Objectness(9.0%)와 같은 베이스라인 방법보다 뛰어난 성능을 보였다.
• 후행 전략을 통해 100%의 이미지-태그 쌍에 대해 제안을 확보했으며, 정밀도는 낮아져 10.5%로 떨어졌지만 정확도는 향상되었다.
• Word2Vec를 사용한 텍스트 전용 태그 예측은 48.2%의 상위-1 평균 정밀도를 기록하여 다중 레이블 태그 예측에서 뛰어난 성능을 입증했다.
• 딥러닝 특징을 사용한 시각적 카테고리 예측은 상위-1 정확도 26.5%를 달성했으며, 우연의 경우(15.4%)보다 뚜렷하게 높았다.
• 텍스트적 맥락의 통합이 시각적 국소화를 향상시킴을 보여주었으며, 예측된 태그를 지도 신호로 사용했을 때 정밀도가 높아졌다.
• SharpMask가 제안 생성 과정에서 주요 성능 저하 요인으로 작용하여 34%의 후보를 기각했으며, 이는 전체 재현율 저하를 초래하고 후행 메커니즘의 필요성을 야기했다.