[논문 리뷰] Fashion Captioning: Towards Generating Accurate Descriptions with Semantic Rewards

Xuewen Yang, Heming Zhang외 7명|arXiv (Cornell University)|2020. 08. 06.

Multimodal Machine Learning Applications참고 문헌 43인용 수 10

한 줄 요약

이 논문은 패션 캡션 생성을 위한 새로운 강화학습 기반 프레임워크를 제안하며, 속성 수준의 의미적(ALS) 보상과 문장 수준의 의미적(SLS) 보상의 통합을 통해 캡션의 정확성과 표현력을 향상시킨다. 새로운 대규모 데이터셋(FACAD)에서 최대우도추정, 속성 임베딩, 강화학습을 함께 훈련함으로써 기존 방법들보다 더 정확하고 세밀하며 매력적인 기술을 생성하며, 자동 평가 및 인간 평가 모두에서 최신 기준 성능을 달성한다.

ABSTRACT

Generating accurate descriptions for online fashion items is important not only for enhancing customers' shopping experiences, but also for the increase of online sales. Besides the need of correctly presenting the attributes of items, the expressions in an enchanting style could better attract customer interests. The goal of this work is to develop a novel learning framework for accurate and expressive fashion captioning. Different from popular work on image captioning, it is hard to identify and describe the rich attributes of fashion items. We seed the description of an item by first identifying its attributes, and introduce attribute-level semantic (ALS) reward and sentence-level semantic (SLS) reward as metrics to improve the quality of text descriptions. We further integrate the training of our model with maximum likelihood estimation (MLE), attribute embedding, and Reinforcement Learning (RL). To facilitate the learning, we build a new FAshion CAptioning Dataset (FACAD), which contains 993K images and 130K corresponding enchanting and diverse descriptions. Experiments on FACAD demonstrate the effectiveness of our model.

연구 동기 및 목표

• 세밀한 속성과 스타일적 표현으로 인해 어려운 패션 아이템에 대한 정확하고 표현력 있는 캡션 생성 문제를 해결하기 위해.
• 이미지 캡션 생성에서 최대우도추정(MLE)의 한계를 극복하기 위해, 핵심 속성과 전반적인 의미를 강조하지 못하는 문제를 해결하기 위해.
• MLE, 속성 임베딩, 강화학습을 융합한 새로운 학습 프레임워크를 개발하기 위해.
• 993만 장의 이미지와 13만 개의 다양한, 매력적인 기술을 포함한 첫 번째 대규모 패션 캡션 데이터셋인 FACAD를 구축하기 위해.
• 사용자 정의 보상 함수를 통해 속성 일관성과 문장 수준의 의미적 의미를 명시적으로 모델링함으로써 캡션 품질을 향상시키기 위해.

제안 방법

• 생성된 캡션의 항목 속성을 정확히 기술하도록 보장하기 위해 속성 매칭 알고리즘을 사용하는 속성 수준의 의미적(Als) 보상 기반.
• 캡션의 고수준 의미적 의미를 유지하기 위해 사전 학습된 문장 분류기 기반의 문장 수준의 의미적(SLS) 보상 기반.
• 이미지 특징 품질 향상과 정확한 속성 추출을 보장하기 위해 시각적 속성 예측을 보조 신호로 활용.
• 예측된 속성에 조건부로 작동하는 조건부 LSTM 디코더를 사용하여 더 관련성 있고 기술적인 캡션을 생성.
• 최대우도추정(MLE), 속성 임베딩, 강화학습(RL)을 융합하여 공동 훈련.
• 993만 장의 패션 이미지와 속성, 카테고리, 표현적인 기술에 대한 풍부한 애너테이션을 포함한 FACAD 데이터셋을 활용하여 모델를 훈련 및 평가.

실험 결과

연구 질문

• RQ1 의미 보상이 포함된 강화학습 프레임워크가 MLE 기반 베이스라인에 비해 패션 캡션의 정확성과 표현력 향상에 뚜렷한 영향을 미치는가?
• RQ2 제안된 속성 수준의 의미적(Als) 보상은 생성된 캡션에서 속성 기술의 일관성을 향상시키는 데 얼마나 효과적인가?
• RQ3 문장 수준의 의미적(SLS) 보상은 생성된 캡션의 의미 일관성과 카테고리 일관성 향상에 어느 정도 기여하는가?
• RQ4 유사한 항목에서 공유되는 속성을 기반으로 학습함으로써 모델이 다양하고 매력적인 기술을 일반화하여 생성할 수 있는가?
• RQ5 속성 임베딩과 시각적 속성 예측의 통합은 총합 캡션 성능 향상에 어떻게 기여하는가?

주요 결과

• 제안된 SRFC 모델은 심미적 평가에서 심사위원들의 선호도가 19.7%로 가장 높아 주관적 평가에서 모든 베이스라인을 압도적으로 뛰어넘었다.
• 자동 평가 점수로는 BLEU-4 37.5, ROUGE-L 20.6, CIDEr 10.1을 기록하여 표준 평가 지표에서 뛰어난 성능을 보였다.
• 모델는 뛰어난 속성 일관성을 보이며, 기준 캡션에 존재하지 않는 '노치드 랩셀'과 같은 속성을 정확히 식별하고 기술하는 데 성공했다.
• 정성적 분석 결과, 모델는 유사한 항목으로부터 표현적인 어휘를 학습하여 새로운 대상에 전이함으로써 다양성과 풍부함을 향상시켰다.
• SRFC 모델의 Fleiss’ 카파 일致도율 0.63은 인간 평가자 간의 상당한 일致도를 보여주며 신뢰할 수 있는 인간 평가 결과를 확인한다.
• 제거 실험 결과, ALS와 SLS 보상, MLE 및 속성 임베딩의 조합이 가장 뛰어난 성능을 내며, 다목적 학습 프레임워크의 효과성을 입증했다.