[논문 리뷰] SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text

A. P. Mathews, Lexing Xie외 1명|arXiv (Cornell University)|2018. 05. 18.

Multimodal Machine Learning Applications참고 문헌 48인용 수 19

한 줄 요약

SemStyle는 이미지와 문장이 정렬되어 있지 않은 텍스트를 사용하여 시각적으로 기반을 둔 스타일화된 이미지 설명을 생성하기 위한 새로운 프레임워크를 제안한다. 이는 의미적 내용과 언어적 스타일을 분리함으로써 구현된다. 문맥 기반 용어 표현과 통합된 언어 생성기를 사용하여 기술적이고 스타일이 변화된 설명문을 생성하며, 인간 평가에서 58.8%의 스타일 독창성과 41.9%의 스토리처럼 느껴지는 설명문을 달성했으며, 의미 유지 능력은 매우 뛰어나 SPICE 점수 0.144를 기록했다.

ABSTRACT

Linguistic style is an essential part of written communication, with the power to affect both clarity and attractiveness. With recent advances in vision and language, we can start to tackle the problem of generating image captions that are both visually grounded and appropriately styled. Existing approaches either require styled training captions aligned to images or generate captions with low relevance. We develop a model that learns to generate visually relevant styled captions from a large corpus of styled text without aligned images. The core idea of this model, called SemStyle, is to separate semantics and style. One key component is a novel and concise semantic term representation generated using natural language processing techniques and frame semantics. In addition, we develop a unified language model that decodes sentences with diverse word choices and syntax for different styles. Evaluations, both automatic and manual, show captions from SemStyle preserve image semantics, are descriptive, and are style shifted. More broadly, this work provides possibilities to learn richer image descriptions from the plethora of linguistic data available on the web.

연구 동기 및 목표

• 쌍으로 정렬된 이미지-설명 데이터셋이 필요 없이 시각적으로 관련된 스타일화된 이미지 설명을 생성하기 위해.
• 이미지 설명 생성에서 의미적 내용과 언어적 스타일을 효과적으로 분리하여 더 큰 유연성과 제어력을 확보하기 위해.
• 예를 들어 로맨스 소설과 같은 대규모 정렬되지 않은 스타일 텍스트를 활용하여 이미지 정렬 없이 다양한 글 스타일을 학습하기 위해.
• 첫인용, 공식적, 서사 어조와 같은 스타일 변형을 가능하게 하면서도 높은 의미적 관련성을 유지하기 위해.
• 기본 설명 및 스타일 텍스트 데이터셋을 통합하여 향상된 설명 품질과 스타일 충실도를 달성하는 통합 학습 전략을 개발하기 위해.

제안 방법

• 의미적 내용과 스타일을 분리하기 위해 어간화된 단어에 품사 태그를 부여하고, FrameNet을 활용해 동사를 일반화하는 새로운 의미어 표현 방식을 도입한다.
• 이미지-설명 쌍을 기반으로 신경망 기반의 용어 생성기를 학습시켜 이미지에서 간결한 의미어 집합을 추출한다.
• 목표 스타일에 조건부로 설정된 통합 언어 생성기를 사용해 의미어를 유창하고 다양한 스타일의 문장으로 디코딩한다.
• MSCOCO와 같은 기술적 설명 데이터셋과 로맨스 소설과 같은 스타일 텍스트 데이터셋을 모두 활용해, 정렬된 이미지 없이도 스타일 전이를 학습한다.
• 다양한 데이터셋에서 동시에 학습하여 추론 시 모든 출처의 의미어가 접근 가능하도록 하여 관련성 향상을 도모한다.
• 학습 및 평가 과정에서 스타일 충실도와 내용 관련성을 평가하기 위해 스타일 분류기(CL)와 자동 평가 지표(LM, GRULM)를 활용한다.

실험 결과

연구 질문

• RQ1 모델은 정렬되지 않은 스타일 텍스트와 이미지 데이터만을 사용하여 다양한 스타일의 시각적으로 기반을 둔 설명을 생성할 수 있는가?
• RQ2 이미지 설명 생성에서 의미적 내용과 언어적 스타일을 효과적으로 분리할 수 있는 방법은 무엇인가? 이를 통해 민감한 스타일 전이가 가능해지는가?
• RQ3 쌍으로 정렬된 이미지-설명 데이터 없이 언어 생성기가 서사적, 1인칭, 공식적인 스타일을 효과적으로 학습할 수 있는가?
• RQ4 의미어 생성과 스타일 디코딩을 분리함으로써 종래의 엔드 투 엔드 모델 대비 의미적 관련성과 스타일 다양성 측면에서 성능 향상이 이루어지는가?
• RQ5 기술적 설명과 스타일 텍스트 데이터셋을 동시에 학습하면 스타일 충실도를 유지하면서도 설명의 관련성이 향상되는가?

주요 결과

• SemStyle는 인간 평가에서 58.8%의 스타일 독창성을 기록하여 다양한 스타일에 걸쳐 강력한 스타일 제어 능력을 입증했다.
• 모델은 인간 평가에서 41.9%의 설명문이 스토리처럼 느껴졌으며, CNN+RNN-coco(6.2%)와 비교해 뚜렷한 우월성을 보였고, 신경 스토리텔러(52.6%이지만 44.2%는 관련 없는 설명)보다도 우수한 성능을 보였다.
• SemStyle는 SPICE 점수 0.144로 매우 높은 의미적 관련성을 유지했으며, 기술적 기준 모델(SPICE 0.144)과 유사하고, TermRetrieval(SPICE 0.134)과 신경 스토리텔러(SPICE 0.120)보다도 뚜렷한 우월성을 보였다.
• 의미어가 무작위로 정렬되었을 경우(SPICE 0.134) 또는 FrameNet/품사 태그/어간화 기법을 제거했을 경우 성능 저하가 발생하여, 이들이 스타일과 내용을 분리하는 데 핵심적인 역할을 함을 입증했다.
• MSCOCO와 로맨스 소설 데이터셋을 함께 학습한 경우(SPICE 0.144) 로맨스 소설 데이터셋만으로 학습한 경우(SPICE 0.138)보다 관련성 향상이 뚜렷했으며, 이는 통합된 데이터 활용의 유용성을 입증한다.
• 자동 스타일 평가 지표(CL, LM, GRULM)와 인간 평가 간의 켄달의 τ 상관계수는 CLF 기준 0.434로 인간의 스타일 인식과 중간에서 강한 일치를 보였으며, 이는 지표의 타당성을 뒷받침한다.