[논문 리뷰] SentiCap: Generating Image Descriptions with Sentiments

A. P. Mathews, Lexing Xie외 1명|arXiv (Cornell University)|2015. 10. 06.

Multimodal Machine Learning Applications참고 문헌 37인용 수 32

한 줄 요약

SentiCap는 단 2,000개 이상의 감성 레이블이 부여된 훈련 문장만을 사용하여 감성적으로 강한 이미지 설명을 생성하기 위해 단어 수준의 정규화를 적용한 스위칭 순환 신경망을 제안한다. 이 모델은 기준 모델 대비 88%의 양성 문장과 72%의 음성 문장을 정확한 감성으로 생성하면서도 사실 기반 문장과 비교해 84.6%의 경우에서 뛰어난 묘사 품질을 유지한다.

ABSTRACT

The recent progress on image recognition and language modeling is making automatic description of image content a reality. However, stylized, non-factual aspects of the written description are missing from the current systems. One such style is descriptions with emotions, which is commonplace in everyday communication, and influences decision-making and interpersonal relationships. We design a system to describe an image with emotions, and present a model that automatically generates captions with positive or negative sentiments. We propose a novel switching recurrent neural network with word-level regularization, which is able to produce emotional image captions using only 2000+ training sentences containing sentiments. We evaluate the captions with different automatic and crowd-sourcing metrics. Our model compares favourably in common quality metrics for image captioning. In 84.6% of cases the generated positive captions were judged as being at least as descriptive as the factual captions. Of these positive captions 88% were confirmed by the crowd-sourced workers as having the appropriate sentiment.

연구 동기 및 목표

• 기존의 이미지 설명 생성 시스템이 일반적으로 사실 기반 묘사 외에 감성 표현을 포함하지 않는다는 점을 해결하기 위해.
• 감성 레이블이 부여된 훈련 데이터를 최소한으로 사용하여 제어된 양성 또는 음성 감성의 이미지 설명을 생성하는 방법을 개발하기 위해.
• 감성 정보를 자연어 생성에 효과적으로 통합하면서도 묘사 정확도를 훼손하지 않는 모델을 설계하기 위해.
• 자동 평가 지표와 인력 평가를 병행하여 감성 정확도 및 묘사 품질을 평가하기 위해.

제안 방법

• 일반 언어 모델링을 위한 하나의 스트림과 감성 인식 기반의 설명 생성을 위한 전용 스트림을 갖춘 두 개의 병렬 LSTM 스트림을 가진 스위칭 RNN 아키텍처.
• 훈련 중 감성을 담고 있는 단어(예: Visual SentiBank의 ANPs)를 강조하는 새로운 단어 수준의 정규화 기법을 도입하여 모델이 감성 표현을 유도한다.
• 기본적인 MSCOCO 기반 묘사에서 묘사 내용을 유지하면서 감성을 삽입하기 위해 재작성 작업을 수행하여 2,000개 이상의 감성 레이블이 부여된 설명을 수집한다.
• 413만 개의 중립적 설명과 2,000개 이상의 감성 레이블이 부여된 설명을 함께 훈련하여 희소한 데이터로도 감성 인식 기반 생성을 학습할 수 있도록 한다.
• 이미지 표현을 위해 어텐션 메커니즘과 CNN 특징을 사용하고, 문장 생성을 위해 LSTM 기반 언어 모델링을 적용한다.
• 자동 평가 지표(예: BLEU, ROUGE), 감성 인식에 대한 인간 평가, 쌍별 평가를 통한 묘사 품질 비교를 통해 평가한다.

실험 결과

연구 질문

• RQ1 소량의 감성 레이블이 부여된 데이터만을 사용하여 신경망 기반의 설명 생성 모델이 감성적으로 표현력 있는 문장을 생성할 수 있는가?
• RQ2 단어 수준의 정규화를 적용한 스위칭 RNN 아키텍처가 이미지 설명에 감성 어휘를 효과적으로 삽입할 수 있는가?
• RQ3 인력 평가자들이 생성된 문장의 감성을 사실 기반 문장과 비교해 얼마나 정확하게 인식하는가?
• RQ4 감성 생성 과정이 생성된 문장의 묘사 품질과 독창성에 어떤 영향을 미치는가?

주요 결과

• SentiCap는 84.6%의 경우에서 사실 기반 문장과 비슷하거나 더 뛰어난 묘사 정확도를 보였으며, 이는 뛰어난 묘사 품질을 의미한다.
• 인력 평가자들에 따르면 88.4%의 양성 문장이 사실 기반 문장보다 더 긍정적인 감성을 지녔다고 평가되어 효과적인 감성 생성을 확인했다.
• 72.5%의 음성 문장이 사실 기반 문장보다 더 부정적인 감성을 지녔다고 평가되어 신뢰할 수 있는 부정 감성 생성을 입증했다.
• SentiCap는 95.7%의 독창적 문장을 생성했으며, 이는 단지 MSCOCO 데이터로만 훈련된 표준 CNN+RNN 모델의 38.2%보다 뚜렷이 높은 수준으로 일반화 능력 향상을 보여준다.
• 세 가지 기준 모델 대비 감성 어휘 빈도와 감성 강도에서 뛰어난 성능을 보였으며, 정확하게 배치된 감성 어휘 수가 가장 많았다.
• 66.4%의 경우에서 양성 문장이 비감성 문장보다 더 흥미로운 것으로 평가되었고, 63.2%의 경우에서 음성 문장은 더 덜 흥미로운 것으로 평가되어 부정성과 흥미 간의 자연스러운 모순을 반영했다.