[논문 리뷰] SuperCaptioning: Image Captioning Using Two-dimensional Word Embedding

Baohua Sun, Lin Yang외 5명|arXiv (Cornell University)|2019. 05. 25.

Multimodal Machine Learning Applications참고 문헌 16인용 수 4

한 줄 요약

이 논문은 단일 CNN 모델에서 시각적 및 텍스트적 특징을 동시에 처리하기 위해 2차원 단어 임베딩을 사용하는 새로운 이미지 캡션 생성 방법인 SuperCaptioning을 제안한다. 텍스트를 이미지 유사 표현으로 변환하고 입력 이미지와 결합함으로써, 통합 아키텍처에서 엔드 투 엔드 훈련을 통해 Flickr30k에서 높은 품질의 캡션을 생성한다. 이는 기존의 이중 스트림 접근 방식을 능가한다.

ABSTRACT

Language and vision are processed as two different modal in current work for image captioning. However, recent work on Super Characters method shows the effectiveness of two-dimensional word embedding, which converts text classification problem into image classification problem. In this paper, we propose the SuperCaptioning method, which borrows the idea of two-dimensional word embedding from Super Characters method, and processes the information of language and vision together in one single CNN model. The experimental results on Flickr30k data shows the proposed method gives high quality image captions. An interactive demo is ready to show at the workshop.

연구 동기 및 목표

• 현재의 이미지 캡션 생성 모델이 시각과 언어를 별도로 처리하는 데서 비롯하는 한계를 해결하기 위해.
• 원래 텍스트 분류에서 사용된 2차원 단어 임베딩이 이미지 캡션 생성에 효과적인지 탐색하기 위해.
• 엔드 투 엔드 캡션 생성을 위한 단일 CNN 모델로 이미지 및 텍스트 처리를 통합하기 위해.
• 저전력 CNN 가속기로 구동되는 장치에서 효율적인 인퍼런스를 가능하게 하기 위해.

제안 방법

• 이 방법은 각 문자가 고정된 격자 공간을 점유하는 방식으로, Squared English Word (SEW) 기법을 사용해 원시 텍스트를 2D 이미지 표현으로 변환한다.
• 입력 이미지와 텍스트 임베딩이 결합되어 하나의 224×224 SuperCaptioning 이미지로 구성되며, 이미지는 상단에, 텍스트는 하단에 위치한다.
• ImageNet에서 미세조정된 사전 훈련된 SE-Net-154 모델을 백본으로 사용하며, 최종 레이어를 어휘 크기와 대응하는 11,571개의 클래스로 재구성한다.
• 모델은 캡션 시퀀스의 다음 단어를 반복적으로 예측하며, EOS(문장 종료) 토큰이 생성되거나 최대 단어 수(14)에 도달하면 예측을 종료한다.
• 훈련 데이터는 각 SuperCaptioning 이미지를 참조 캡션의 다음 단어로 레이블링하여 생성되며, 캡션 생성을 다중 클래스 분류 문제로 간주한다.
• 이 방법은 텍스트 분류에서 성공을 거둔 Super Characters 프레임워크의 성공을 기반으로 하며, 이를 이미지 캡션 생성을 위한 공동 시각-언어 모델링으로 적응시킨다.

실험 결과

연구 질문

• RQ1 2차원 단어 임베딩을 통해 단일 CNN에서 시각과 언어를 동시에 처리함으로써 이미지 캡션 생성 성능을 향상시킬 수 있는가?
• RQ2 캡션 품질과 자연스러움 측면에서 SuperCaptioning 방법은 기존의 이중 스트림 모델과 비교해 어떻게 성능을 내는가?
• RQ3 최적의 캡션 생성 결과를 얻기 위해 어떤 초모수(예: 폰트 크기, 컷 길이, 이미지 리사이징)를 설정해야 하는가?
• RQ4 이 방법은 객체 수, 색상, 배경 맥락, 동작 세부 정보를 포괄하는 기술적인 캡션을 생성할 수 있는가?
• RQ5 이 방법은 전용 CNN 가속기를 탑재한 저전력 엣지 디바이스에 배포하기에 적합한가?

주요 결과

• SuperCaptioning 방법은 높은 품질의 이미지 캡션을 생성하며, 보트 위에 라이프 자켓을 입은 네 명의 남성이 있는 예시에서 객체 수를 정확히 기술한다.
• 모델은 여성의 검은 코트와 빨간 우산을 들고 있는 것처럼 색상 정보를 효과적으로 포착하여 세밀한 시각-언어 일치를 보여준다.
• 배경 요소인 산과 같은 요소를 포함한 맥락이 풍부한 캡션을 생성함으로써 강력한 장면 이해 능력을 보인다.
• 무용수들이 팔을 뻗은 채로 발레를 추하고 있는 것처럼 행동을 세밀하게 묘사함으로써 역동적인 장면을 포착하는 능력을 보인다.
• Flickr30k에서 뛰어난 성능을 기록하였으며, 14단어 이내의 캡션을 가진 31,333개의 이미지가 필터링 후 유지되었다.
• 저전력 가속기를 고려할 때 효율적인 CNN 추론에 의존하므로, 이 방법은 장치 내 배포에 적합하다.