[논문 리뷰] Netizen-Style Commenting on Fashion Photos: Dataset and Diversity Measures

Wen Hua Lin, Kuan‐Ting Chen외 2명|arXiv (Cornell University)|2018. 01. 31.

Multimodal Machine Learning Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 잠재 주제 모델(LDA)를 신경망 이미지 캡셔닝과 융합하여 다양한, 생생하고 문화적으로 관련성 있는 '넷이젠 스타일'의 댓글을 생성하는 Netizen-Style Commenting(NSC) 프레임워크를 제안한다. 새로운 대규모 데이터셋인 NetiLook(30만 장의 패션 사진과 500만 개의 댓글 포함)을 사용하여 NSC는 캡처링 정확도와 다양성 측면에서 기존 모델을 뛰어넘었으며, 인간 평가에서 NSC가 최상위 댓글로 선정된 비율이 36.8%에 달해 우수한 성능을 보였다.

ABSTRACT

Recently, deep neural network models have achieved promising results in image captioning task. Yet, "vanilla" sentences, only describing shallow appearances (e.g., types, colors), generated by current works are not satisfied netizen style resulting in lacking engagements, contexts, and user intentions. To tackle this problem, we propose Netizen Style Commenting (NSC), to automatically generate characteristic comments to a user-contributed fashion photo. We are devoted to modulating the comments in a vivid "netizen" style which reflects the culture in a designated social community and hopes to facilitate more engagement with users. In this work, we design a novel framework that consists of three major components: (1) We construct a large-scale clothing dataset named NetiLook, which contains 300K posts (photos) with 5M comments to discover netizen-style comments. (2) We propose three unique measures to estimate the diversity of comments. (3) We bring diversity by marrying topic models with neural networks to make up the insufficiency of conventional image captioning works. Experimenting over Flickr30k and our NetiLook datasets, we demonstrate our proposed approaches benefit fashion photo commenting and improve image captioning tasks both in accuracy and diversity.

연구 동기 및 목표

• 현재의 이미지 캡처링 모델이 패션 사진에 대해 다양성과 인간다운 참여도가 부족한 문제를 해결하기 위해.
• 온라인 패션 커뮤니티에서 관찰되는 활기차고 커뮤니티 특화된 '넷이젠' 스타일을 반영한 댓글을 생성할 수 있는 프레임워크를 개발하기 위해.
• 문화적으로 뉘앙스가 담긴 이미지 캡처링 연구를 지원하기 위해, 실제 세계의 패션 사진과 사용자 댓글로 구성된 대규모 데이터셋을 구축하기 위해.
• 패션 캡처링 작업에서 댓글의 다양성을 정량적으로 측정하기 위한 새로운 지표를 제안하기 위해.
• 주제 모델링과 신경망 캡처링을 융합함으로써 생성된 댓글의 정확도와 스타일적 풍부함이 향상됨을 입증하기 위해.

제안 방법

• 온라인 스타일 커뮤니티에서 유저가 업로드한 30만 장의 사진과 500만 개의 커뮤니티 댓글을 포함한 대규모 패션 데이터셋인 NetiLook을 구축하였다.
• 댓글 다양성을 정량적으로 평가하기 위해 새로운 세 가지 다양성 지표(어휘 다양성, 주제 다양성, 의미 다양성)를 설계하였다.
• 신경망 캡처링 모델이 더 생생하고 맥락이 풍부하며 커뮤니티 특화된 댓글을 생성하도록 유도하기 위해 잠재 딜레트 라이프스터(LDA)를 스타일 가중치 기반 메커니즘으로 통합하였다.
• 주제 기반 스타일 가중치를 삽입하여 어텐션 기반 신경망 이미지 캡처링 모델(NC, Attention 등)을 변형하여 출력 생성을 조정하였다.
• 주제 모델과 어텐션 기반 캡처링 네트워크를 공동으로 학습시켜 시각적 콘텐츠와 스타일적 표현 간의 일치도를 향상시켰다.
• 스태일 가중치 적용을 통해 장거리 의존성 유지 및 생성된 댓글의 정서적 어조와 문화적 관련성을 향상시켰다.

실험 결과

연구 질문

• RQ1 온라인 패션 커뮤니티에서 관찰되는 역동적이고 표현적인 '넷이젠' 스타일을 반영할 수 있도록 이미지 캡처링 모델을 어떻게 개선할 수 있는가?
• RQ2 표준 BLEU 및 ROUGE 점수 외에 어떤 지표가 패션 사진 댓글의 다양성을 효과적으로 측정할 수 있는가?
• RQ3 잠재 주제 모델링이 신경망 캡처링 출력의 스타일적 풍부함과 참여도에 얼마나 기여하는가?
• RQ4 주제 모델링과 어텐션 기반 캡처링을 융합한 하이브리드 모델이 정확도와 다양성 측면에서 기존 캡처링 베이스라인을 뛰어넘을 수 있는가?
• RQ5 사람 평가자들은 제안된 NSC 프레임워크가 생성한 댓글이 인간이 애너테이션한 댓글 및 기존 모델 출력에 비해 현실감과 품질 측면에서 어떻게 평가하는가?

주요 결과

• 사용자 연구에서 NSC 프레임워크는 랭크-1 선호도 점수 36.8%를 기록하여 NC(10.8%) 및 Attention(6.3%) 모델을 크게 앞섰다.
• 805건의 인간 평가에서 NSC는 상위 두 순위에 76.6%의 비율로 진입하여 인간다운 품질과 수용성을 잘 반영했다.
• 제안된 다양성 지표로 측정한 결과, NSC는 기존 모델 대비 더 높은 어휘 다양성과 주제 다양성을 보였다.
• LDA 기반 스타일 가중치 통합으로 댓글의 생생함과 맥락적 관련성이 향상되었으며, 특히 사회적 뉘앙스와 정서적 어조를 잘 포착했다.
• 사용자 피드백은 이모티콘과 시각적 콘텐츠에 대한 관련성이 댓글 선호도의 핵심 요소임을 강조하였으며, NSC는 이 두 요소를 효과적으로 반영하였다.
• 30만 장의 패션 사진과 500만 개의 댓글을 포함한 NetiLook 데이터셋은 향후 커뮤니티 스타일의 이미지 캡처링 연구를 위한 풍부하고 현실적인 기준 자료로 기여한다.