[논문 리뷰] Senti-Attend: Image Captioning using Sentiment and Attention

Omid Mohamad Nezami, Mark Dras외 2명|arXiv (Cornell University)|2018. 11. 24.

Multimodal Machine Learning Applications참고 문헌 31인용 수 10

한 줄 요약

Senti-Attend는 사실적 정확성과 감성 인식을 동시에 고려한 주의 기반 이미지 캡션 생성 모델로, 고수준 감성 임베딩과 단어 수준 감성 임베딩을 통합하여 캡션을 생성한다. 일항 벡터가 아닌 실수값 감성 표현을 학습함으로써 의미적 일치도 향상시키고, 더 적절한 감성을 담은 형용사 및 형용사-명사 조합을 생성하여 표준 평가 지표에서 최신 기술을 능가한다.

ABSTRACT

There has been much recent work on image captioning models that describe the factual aspects of an image. Recently, some models have incorporated non-factual aspects into the captions, such as sentiment or style. However, such models typically have difficulty in balancing the semantic aspects of the image and the non-factual dimensions of the caption; in addition, it can be observed that humans may focus on different aspects of an image depending on the chosen sentiment or style of the caption. To address this, we design an attention-based model to better add sentiment to image captions. The model embeds and learns sentiment with respect to image-caption data, and uses both high-level and word-level sentiment information during the learning process. The model outperforms the state-of-the-art work in image captioning with sentiment using standard evaluation metrics. An analysis of generated captions also shows that our model does this by a better selection of the sentiment-bearing adjectives and adjective-noun pairs.

연구 동기 및 목표

• 이미지 캡션 생성에서 사실적 이미지 내용과 주관적 감성 간 균형을 맞추는 과제를 해결하기 위해.
• 일항 감성 벡터를 실수값 감성 임베딩으로 대체하여 감성 제어를 향상시키기 위해.
• 고수준 및 단어 수준 감성 정보를 통합하여 캡션 생성을 더 효과적으로 이끌기 위해.
• 캡션 생성 과정에서 이미지 내용과 감성이 담긴 캡션 간 의미 일致성을 유지하기 위해.
• 고품질의 감성 인식 캡션을 생성하는 데서 기존 최신 기술 모델을 능가하기 위해.

제안 방법

• 모델은 CNN을 사용해 시각적 특징을 추출하고, 공간적 특징에 대한 주의 메커니즘을 통합한 LSTM 디코더를 사용해 캡션을 생성한다.
• 고수준 감성 임베딩과 단어 수준 감성 임베딩이라는 두 가지 감성 임베딩 메커니즘을 도입한다. 고수준 감성 임베딩은 캡션의 총체적 감성에 따라 조건화되고, 단어 수준 감성 임베딩은 특정 어휘 항목과 연결된다.
• 고수준 감성 임베딩은 각 디코딩 단계에서 LSTM에 입력되어 캡션의 총체적 감성에 영향을 준다.
• 단어 수준 감성 임베딩은 특히 형용사와 명사-형용사 조합의 예측에 영향을 미친다.
• 감성 임베딩은 훈련 중에 엔드 투 엔드로 학습되며, 이미지 콘텐츠에 따라 감성이 어디에 적용되어야 할지 모델이 스스로 학습한다.
• 모델은 정답 캡션을 사용한 교차 엔트로피 손실로 훈련되고, BLEU, ROUGE, CIDEr와 같은 표준 평가 지표로 평가된다.

실험 결과

연구 질문

• RQ1 주의 기반 모델은 사실적 정확성을 유지하면서도 감성 인식 캡션을 효과적으로 생성할 수 있는가?
• RQ2 일항 인코딩 대비 실수값 감성 임베딩을 사용할 경우 감성 제어가 향상되는가?
• RQ3 고수준 및 단어 수준 감성 표현이 상호 보완되어 더 자연스럽고 맥락에 부합하는 감성 캡션을 생성할 수 있는가?
• RQ4 이미지 콘텐츠와 목표 감성에 모두 부합하는 감성 지닌 형용사 및 형용사-명사 조합을 얼마나 잘 선택할 수 있는가?
• RQ5 기존 최신 기술 대비 감성 인식 캡션 생성에서 얼마나 뛰어난 성능을 보이는가?

주요 결과

• Senti-Attend는 BLEU, ROUGE, CIDEr를 포함한 모든 표준 평가 지표에서 최신 기술을 능가하여 감성 인식 이미지 캡션 생성에서 뛰어난 성능을 보였다.
• 이미지 콘텐츠에 기반해 '아름다운'과 같은 긍정 감성, '지저분한'과 같은 부정 감성 등 더 의미적으로 적절한 감성 지닌 형용사 및 형용사-명사 조합을 생성했다.
• 일항 표현 대비 실수값 감성 임베딩을 사용할 경우 감성 표현의 정확성이 크게 향상되었으며, 의미적 부합 여부에 관계없이 감성을 강제로 적용하는 일항 표현 방식보다 우수했다.
• 정성적 분석 결과, Senti-Attend는 다양한 이미지에서 감성을 효과적으로 제어하여 긍정적 및 부정적 감성 모두에 대해 일관되고 맥락에 부합하는 캡션을 생성했다.
• 특히 긍정적인 이미지에 대해 부정적인 설명을 내포하는 어려운 케이스에서도 다양한 감성 표현을 효과적으로 생성하는 데에 강건함을 보였다.
• 일부 캡션 생성 오류가 존재하더라도 Senti-Attend는 이미지 콘텐츠와 감성 간 강력한 일치를 유지했으며, 사실적 정확성과 감성 정확성 측면에서 Attend와 같은 베이스라인 모델을 모두 능가했다.