[논문 리뷰] Generating Diverse and Informative Natural Language Fashion Feedback

Gil Sadeh, Lior Fritz외 2명|arXiv (Cornell University)|2019. 06. 15.

Multimodal Machine Learning Applications참고 문헌 28인용 수 4

한 줄 요약

이 논문은 옷차림 이미지에 대해 다양하고 정보적인 자연어 패션 피드백을 생성하기 위해 최대 상호정보량(MMI) 기반 디코딩 방법을 제안한다. 표준 이미지 캡션 모델에 시각적 어텐션과 MMI 디코딩을 적용함으로써, 표준 최대우도 학습에 비해 더 구체적이고 다양하며 인간과 유사한 응답을 생성하며, 인간 평가에서 패션 전문가 수준의 성능을 달성한다.

ABSTRACT

Recent advances in multi-modal vision and language tasks enable a new set of applications. In this paper, we consider the task of generating natural language fashion feedback on outfit images. We collect a unique dataset, which contains outfit images and corresponding positive and constructive fashion feedback. We treat each feedback type separately, and train deep generative encoder-decoder models with visual attention, similar to the standard image captioning pipeline. Following this approach, the generated sentences tend to be too general and non-informative. We propose an alternative decoding technique based on the Maximum Mutual Information objective function, which leads to more diverse and detailed responses. We evaluate our model with common language metrics, and also show human evaluation results. This technology is applied within the ``Alexa, how do I look?'' feature, publicly available in Echo Look devices.

연구 동기 및 목표

• 표준 이미지 캡션 모델이 패션 피드백을 생성할 때 다양성과 구체성이 부족한 문제를 해결하기 위해.
• 이미지에 직접적으로 드러나지 않는 미묘하고 추상적인 패션 개념(예: 핏, 트렌드, 색조합)을 포착하는 생성 모델을 개발하기 위해.
• Echo Look 기기의 'Alexa, 어떻게 생겼어요?' 기능을 향상시켜 더 정보적이고 다양한 피드백을 제공하기 위해.
• 표준 NLP 메트릭(예: BLEU, CIDEr)이 낮은 n-gram 겹침으로 인해 패션 피드백의 다양성을 제대로 캡처하지 못하는 한계를 극복하기 위해.
• 사람 평가를 통해 모델 성능을 검증하기 위해, 패션 투링 테스트와 언어 품질 평가를 포함한다.

제안 방법

• 약 60,000개의 옷차림 이미지와 약 170,000개의 쌍으로 구성된 긍정적이고 건설적인 패션 피드백 문장이 포함된 고유한 데이터셋을 수집한다.
• 시각적 어텐션 메커니즘을 사용하여 엔드 투 엔드 인코더-디코더 모델을 훈련시키며, 이미지 인코더로 CNN을, 디코더로 RNN을 사용한다.
• 디코딩 중 최대 상호정보량(MMI) 목적함수를 적용하여 문장 사전 확률에 대한 의존도를 줄이고 응답의 다양성을 높인다.
• 상향식 어텐션 메커니즘을 사용하여 주목할 만한 이미지 영역에 집중함으로써 생성된 피드백의 관련성을 향상시킨다.
• 온도 감쇠 전략을 적용하며, β=0.4로 설정하여 GOOD 모델과 TIP 모델의 경우 각각 11단계와 16단계 이후 MMI의 영향을 줄인다. 이는 언어 오류를 감소시키기 위함이다.
• 자동 메트릭(특히 CIDEr)과 광범위한 인간 평가를 모두 사용하여 평가한다. 평가에는 패션 투링 테스트와 언어 품질 평가가 포함된다.

실험 결과

연구 질문

• RQ1 시각적 어텐션을 갖춘 딥 생성 모델이 인간 수준의 품질에 도달하는 다양하고 정보적인 패션 피드백을 생성할 수 있는가?
• RQ2 표준 최대우도 학습에 비해 MMI 기반 디코딩이 패션 피드백의 다양성과 구체성에 상당한 향상을 이끌 수 있는가?
• RQ3 생성된 패션 피드백이 패션 투링 테스트에서 인간 평가자들을 얼마나 오해하게 할 수 있는가?
• RQ4 낮은 n-gram 겹침으로 인해 인간이 애초에 작성한 응답에서 발생하는 패션 피드백 평가에 표준 NLP 메트릭(CIDEr 등)이 얼마나 효과적인가?
• RQ5 모델이 이미지에 직접적으로 시각적으로 기반하지 않는 추상적인 패션 개념을 반영한 피드백을 생성할 수 있는가?

주요 결과

• 상향식 어텐션과 MMI 디코딩을 적용한 제안된 모델은 TIP 작업에서 CIDEr 점수 0.737, GOOD 작업에서 0.988을 기록하여 베이스라인 모델뿐 아니라 패션 전문가의 성능까지도 자동 메트릭에서 앞서는 성과를 보였다.
• 인간 평가 결과, 패션 투링 테스트에서 생성된 GOOD 피드백의 83%와 TIP 피드백의 84%가 인간이 작성한 것으로 분류되었으며, 이는 높은 현실성과 관련성을 시사한다.
• 언어 품질 테스트에서 생성된 GOOD 응답의 89%와 TIP 응답의 93%가 언어 오류 없이 평가되었으며, 이는 참값 인간 응답의 86%와 88%의 성공률과 유사한 결과이다.
• 표준 최대우도 디코딩에 비해 모델이 다양성과 어휘 사용에 있어 뚜렷한 향상을 보였으며, 이는 더 높은 CIDEr 점수와 어휘 다양성 점수로 입증되었다.
• 강력한 자동 메트릭 성능에도 불구하고 다양성과 어휘 사용에서의 격차는 현재 메트릭이 여전히 고급 패션 피드백의 미묘한 특징를 완전히 반영하지 못하고 있음을 시사한다.
• 모델는 Echo Look 기기의 'Alexa, 어떻게 생겼어요?' 기능에 성공적으로 구현되어 실생활 적용 가능성과 사용자 경험 향상을 입증했다.