[논문 리뷰] Attend to You: Personalized Image Captioning with Context Sequence Memory Networks

Cesc Chunseong Park, Byeongchang Kim외 1명|arXiv (Cornell University)|2017. 04. 21.

Multimodal Machine Learning Applications참고 문헌 26인용 수 15

한 줄 요약

이 논문은 개인화된 이미지 캡션 생성을 위한 새로운 메모리 증강 모델인 컨텍스트 시퀀스 메모리 네트워크(CSMN)를 제안한다. 이 모델은 사용자별 활성 어휘 및 이전 텍스트 생성과 같은 사용자 특화된 컨텍스트를 활용한다. CNN 기반 순차 모델링을 통해 모든 생성된 단어와 컨텍스트 메타데이터를 구조화된 메모리에 저장함으로써 장기적 의존성 포착 능력을 향상시키며, 110만 건의 Instagram 게시물 데이터셋에서 해시태그 예측 및 게시물 생성 작업에서 최신 기술을 초월한다.

ABSTRACT

We address personalization issues of image captioning, which have not been discussed yet in previous research. For a query image, we aim to generate a descriptive sentence, accounting for prior knowledge such as the user's active vocabularies in previous documents. As applications of personalized image captioning, we tackle two post automation tasks: hashtag prediction and post generation, on our newly collected Instagram dataset, consisting of 1.1M posts from 6.3K users. We propose a novel captioning model named Context Sequence Memory Network (CSMN). Its unique updates over previous memory network models include (i) exploiting memory as a repository for multiple types of context information, (ii) appending previously generated words into memory to capture long-term information without suffering from the vanishing gradient problem, and (iii) adopting CNN memory structure to jointly represent nearby ordered memory slots for better context understanding. With quantitative evaluation and user studies via Amazon Mechanical Turk, we show the effectiveness of the three novel features of CSMN and its performance enhancement for personalized image captioning over state-of-the-art captioning models.

연구 동기 및 목표

• 특히 소셜 미디어 환경에서 개인화의 부족 문제를 해결하기 위해.
• 사용자별 글쓰기 스타일과 어휘를 이미지 캡션 생성에 통합할 수 있는 모델을 개발하기 위해.
• 해시태그 예측 및 전체 게시물 생성과 같은 게시물 자동화 작업 성능을 향상시키기 위해.
• RNN 기반 캡션 생성에서의 기울기 소실 문제를 해결하기 위해 이전 모든 단어 출력을 명시적으로 메모리에 저장함으로써.
• 개인 사용자의 선호도와 이력에 맞게 적응하는 컨텍스트 인식 캡션 생성을 가능하게 하기 위해.

제안 방법

• CSMN은 사용자별 어휘 및 이미지 기술자와 같은 다양한 유형의 컨텍스트를 저장하는 메모리 구성 요소를 사용한다.
• 모든 이전에 생성된 단어들이 디코딩 단계마다 메모리에 추가되며, 기울기 소실 없이 장기적 의존성 모델링이 가능해진다.
• 순서화된 메모리 슬롯에 대해 CNN을 적용하여 근접한 메모리 항목 간의 상관관계를 함께 표현한다.
• 부드러운 어텐션 메커니즘을 통해 단어 생성 중에 관련 메모리 내용에만 집중할 수 있도록 한다.
• 선생님-강요 학습을 통해 훈련 시 시간에 따라 예측이 분리되어 기울기 안정성을 확보한다.
• 아키텍처는 CNN을 통해 이미지 특징을 통합하고, 메모리를 통해 사용자 컨텍스트를 처리하며, 메모리 어텐션을 통한 자동회귀적 텍스트 생성을 수행한다.

실험 결과

연구 질문

• RQ1 메모리 증강 모델이 사용자별 어휘와 글쓰기 스타일을 활용해 이미지 캡션 생성을 효과적으로 개인화할 수 있는가?
• RQ2 모든 생성된 단어를 메모리에 저장함으로써 RNN 히든 상태에 비해 장기적 의존성 모델링이 어떻게 향상되는가?
• RQ3 순서화된 메모리 슬롯의 CNN 기반 표현 방식이 캡션 생성에서 컨텍스트 이해도를 얼마나 향상시키는가?
• RQ4 CSMN은 실제 웹 기반 게시물 자동화 작업, 예를 들어 해시태그 예측 및 전체 게시물 생성에서 어떤 성능을 보이는가?
• RQ5 다양한 주제에 대해 일반화되면서도 개별 사용자에 대한 개인화를 유지할 수 있는가?

주요 결과

• AMT 연구에서 CSMN는 해시태그 예측에서 81.3%의 인간 선호도를 기록했으며, 다음으로 우수한 베이스라인(1NN-UsrIm)의 67.0%를 뛰어넘었다.
• 게시물 생성 작업에서 CSMN는 81.3%의 인간 선호도를 기록했으며, 다음으로 우수한 베이스라인의 73.0%를 크게 상회했다.
• 모델는 강력한 개인화 성능을 보였으며, 동일한 이미지에 대해 다양한 사용자에게 다른 의미 있는 예측을 내놓으면서도 관련성이 유지되었다.
• 패션, 요리, 인테리어 디자인 등 다양한 주제에서 뛰어난 성능 유지를 보이며 주제 변화에 대한 내구성을 입증했다.
• 사용자 연구 결과, CSMN가 생성한 캡션은 관련 단어, 이모티콘, 멘션을 포함하여 개인화된 표현을 잘 반영하고 있음을 확인했다.
• 제거 실험을 통해 세 가지 핵심 기술적 혁신의 효과가 입증되었다: 다중 유형 컨텍스트 메모리, 단어 이력 유지, CNN 기반 메모리 표현 방식.