[논문 리뷰] Don't only Feel Read: Using Scene text to understand advertisements

Arka Ujjal Dey, Suman K. Ghosh외 1명|arXiv (Cornell University)|2018. 06. 21.

Video Analysis and Summarization참고 문헌 17인용 수 5

한 줄 요약

이 논문은 광고 이미지 분류를 위한 다중모态 프레임워크를 제안하며, 사전 학습된 인식 모델을 사용해 장면 텍스트에서 추출한 텍스트 특징과 딥 컨volution 네트워크에서 유도한 시각적 특징을 결합한다. 이들 모달리티는 연결 또는 MCB(Multimodal Bilinear Pooling)를 통해 융합되며, 이로 인해 정확도가 크게 향상된다—MCB 융합을 사용할 경우 주제 분류 과제에서 58%의 성능을 기록한다. 이는 장면 텍스트가 시각적 콘텐츠와 상보적인 중요한 의미 정보를 제공함을 보여준다.

ABSTRACT

We propose a framework for automated classification of Advertisement Images, using not just Visual features but also Textual cues extracted from embedded text. Our approach takes inspiration from the assumption that Ad images contain meaningful textual content, that can provide discriminative semantic interpretetion, and can thus aid in classifcation tasks. To this end, we develop a framework using off-the-shelf components, and demonstrate the effectiveness of Textual cues in semantic Classfication tasks.

연구 동기 및 목표

• 광고에 내장된 장면 텍스트가 이미지 이해를 위한 의미적인 단서를 제공하는가를 조사하는 것.
• 장면 텍스트에서 추출한 텍스트 특징이 이미지 분류 성능 향상에 얼마나 효과적인가를 평가하는 것.
• 시각적 및 텍스트 특징을 융합하는 데 있어 단순한 융합 방법(연결)과 더 표현력 있는 방법(MCB)을 비교하는 것.
• 모호하거나 상징적인 광고 이미지에서 시각적 및 텍스트적 단서가 어떻게 상호보완적인가를 분석하는 것.
• 부정확한 문자 인식 조건에서도 장면 텍스트가 광고의 의미 이해를 상당히 향상시킬 수 있음을 입증하는 것.

제안 방법

• 장면 텍스트 추출을 위해 Textboxes [12] 및 Jaderberg [6] 파이프라인을 사용하여 광고 이미지에서 텍스트를 검출하고 인식한다.
• 신뢰도 기반으로 상위 k개의 텍스트 단어를 선택하고, 이들을 300차원의 word2vec 벡터로 임베딩한 후 합하여 전역 텍스트 특징 표현을 형성한다.
• 사전 학습된 GoogLeNet 네트워크를 사용해 시각적 특징을 추출하며, 마지막 완전 연결층의 1024차원 활성화 값을 전역 이미지 특징으로 사용한다.
• 두 가지 융합 전략을 평가한다: (1) 특징 연결 및 (2) 다중모달 이중 풀링(Multimodal Bilinear Pooling, MCB), 이는 이미지 및 텍스트 특징 간의 비선형 상호작용을 모델링한다.
• MCB 계산의 효율성과 확장 가능성을 확보하기 위해 카운트 스케치를 통한 저랭크 근사 기법을 사용한다.
• 신뢰도가 높은 전사 결과(≥70% 신뢰도)를 확보한 47,000개의 광고 이미지로 구성된 정제된 데이터셋을 대상으로 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 광고의 장면 텍스트가 시각적 특징만으로는 부족한 의미 정보를 제공하는가?
• RQ2 시각적 및 텍스트 특징을 융합할 때 연결과 MCB와 같은 다양한 융합 전략이 분류 정확도에 어떤 영향을 미치는가?
• RQ3 모호하거나 은유적인 광고 이미지에서 장면 텍스트의 텍스트 특징이 시각적 단서를 보완하거나 대체하는 정도는 어느 정도인가?
• RQ4 특징 집계에 사용되는 상위-k개의 텍스트 단어 수에 따라 시스템 성능이 어떻게 변하는가?
• RQ5 간단한 오프더셰프 텍스트 추출 및 임베딩 파이프라인으로도 광고 이미지의 의미 이해에 의미 있는 향상이 이루어지는가?

주요 결과

• 상위 5개의 신뢰도가 높은 단어의 텍스트 특징만을 사용할 경우, 40개 클래스의 주제 분류 과제에서 45%의 정확도를 달성하여 장면 텍스트 자체가 상당한 의미 정보를 지닌다는 것을 입증한다.
• 이미지 및 텍스트 특징을 연결을 통해 융합함으로써 정확도가 53%로 향상되어 두 모달리티가 분류에 기여한다는 것을 보여준다.
• MCB 융합 전략이 연결보다 우수하며, k=5일 때 58%의 정확도를 기록하여 모달리티 간의 곱셈 상호작용이 더 풍부한 의미 관계를 포착함을 시사한다.
• MCB 융합 성능은 k 값(5, 35, 100)에 관계없이 안정적이며, k=35와 k=100일 때 각각 57%의 정확도를 기록하여 사용된 단어 수에 대해 강건함을 보여준다.
• 시각 질문 응답(VQA) 과제에서 MCB를 통해 이미지, 텍스트, 질문 특징을 융합함으로써 정확도가 12.44%까지 상승하여 이 프레임워크가 분류 외적 응용에도 일반화 가능함을 보여준다.
• 연구는 전사 오류와 어휘 제약이 여전히 주요 장벽임을 강조하며, 중간 단계의 인식 과정 없이 직접 픽셀에서 임베딩으로의 엔드 투 엔드 학습 기반의 향후 연구를 촉진한다.