[논문 리뷰] Mapping Images to Sentiment Adjective Noun Pairs with Factorized Neural Nets

Takuya Narihira, Damian Borth외 3명|arXiv (Cornell University)|2015. 11. 21.

Multimodal Machine Learning Applications참고 문헌 27인용 수 10

한 줄 요약

이 논문은 광범위한 웹 기반 애너테이션의 노이즈에 강건하고, 미리 보지 않은 어미어미 쌍(ANP)으로의 일반화를 가능하게 하며, 노이즈가 많은 웹 애너테이션 데이터에서 더 뛰어난 성능을 보이는 인과적 합성 신경망(Fact-Net)을 제안한다. 이 모델은 형용사와 명사를 별도로 시각적 표현을 학습한 후, 이를 감성 어미어미 쌍(ANP)으로 조합함으로써, 새로운 ANP에 대한 제로샷 일반화를 가능하게 하고, 학습된 의미적 상관관계를 통해 ANP 어휘를 확장한다.

ABSTRACT

We consider the visual sentiment task of mapping an image to an adjective noun pair (ANP) such as "cute baby". To capture the two-factor structure of our ANP semantics as well as to overcome annotation noise and ambiguity, we propose a novel factorized CNN model which learns separate representations for adjectives and nouns but optimizes the classification performance over their product. Our experiments on the publicly available SentiBank dataset show that our model significantly outperforms not only independent ANP classifiers on unseen ANPs and on retrieving images of novel ANPs, but also image captioning models which capture word semantics from co-occurrence of natural text; the latter turn out to be surprisingly poor at capturing the sentiment evoked by pure visual experience. That is, our factorized ANP CNN not only trains better from noisy labels, generalizes better to new images, but can also expands the ANP vocabulary on its own.

연구 동기 및 목표

• 노이즈가 많은 웹 기반 애너테이션을 사용하여 '귀여운 아기'와 같은 감성 어미어미 쌍(ANP)을 이미지와 매핑하는 문제를 해결하는 것.
• 새로운 ANP로의 일반화에 실패하거나 의미적 모호성과 애너테이션 노이즈를 다루지 못하는 표준 ANP 분류기의 한계를 극복하는 것.
• 형용사와 명사에 대해 구조적이고 분리된 표현을 학습하면서도, 전체 ANP 분류 성능을 최적화하는 모델을 개발하는 것.
• 형용사와 명사 간의 의미적 상관관계를 활용하여, 새로운 ANP에 대한 제로샷 일반화를 가능하게 하는 것.
• 자연어 공현 빈도를 기반으로 학습하지만, 시각적 감성 표현을 잘 포착하지 못하는 이미지 캡션 모델에 비해 성능을 뛰어넘는 것.

제안 방법

• 모델은 형용사(A)와 명사(N)를 별도로 처리하는 두 개의 하위 네트워크를 사용하는 인과적 CNN 아키텍처를 사용한다.
• 최종 ANP 예측은 A와 N 하위 네트워크의 잠재 표현의 곱으로 계산되며, 이는 공동 의미 공간을 모델링하는 이차형 상호작용을 형성한다.
• 모델은 전체 ANP 출력을 최적화하기 위해, ANP 분류 작업에 대해 소프트맥스 교차엔트로피 손실을 사용하여 엔드 투 엔드로 훈련된다.
• 이 아키텍처는 특징 추출이나 생성 모델링에 사용되는 기존의 이차형 CNN과는 근본적으로 다릅니다. 비선형적이고 구분력 있는 특징을 추출하도록 설계되어 있습니다.
• 모델은 SentiBank 데이터셋에서 평가되며, 검색 및 분류 지표를 사용해 본 적 있는 ANP와 본 적 없는 ANP에서의 성능을 비교한다.
• 레이블이 잘못되거나 모호할 경우에도 의미적으로 유사한 이미지를 검색할 수 있기 때문에, 공감 애너테이션 재설정 및 어휘 확장이 가능하다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 웹 기반 이미지 애너테이션으로 훈련된 인과적 딥 러닝 모델이, 훈련 데이터에 없던 어미어미 쌍(ANP)으로 일반화할 수 있는가?
• RQ2 제로샷 ANP 검색에서, 인과적 ANP 분류기는 표준 ANP 분류기와 이미지 캡션 모델에 비해 성능이 얼마나 뛰어나게 되는가?
• RQ3 형용사와 명사 간의 의미적 상관관계가 시각적 감성 분석에서 일반화 능력과 노이즈에 대한 강건성에 얼마나 기여하는가?
• RQ4 사용자 태그가 잘못되거나 모호할 경우에도, 훈련 데이터에 존재하지 않는 ANP에 대해 이미지를 효과적으로 검색할 수 있는가?
• RQ5 일반화 능력은 학습 데이터 양보다 의미적 구조에 더 강하게 연관되어 있는가?

주요 결과

• Fact-Net은 본 적 없는 ANP에서 표준 ANP-net 베이스라인보다 유의미하게 뛰어난 성능을 보이며, 상위 10개 정확도 격차가 최대 0.4에 이르러 강력한 제로샷 일반화 능력을 입증한다.
• 본 적 없는 ANP에서 Fact-Net은 Fork-Net보다 훨씬 뛰어난 검색 품질을 확보했으며, 더 정확한 명사 일치와 더 넓은 형용사 다양성을 보였다.
• 사용자 태그가 잘못되었더라도 '지저분한 아기'나 '지저분한 하늘' 같은 ANP에 대해 이미지를 정확히 검색하여, 애너테이션 노이즈에 대한 강건성을 입증했다.
• 사용자 태그가 '뜨거운 여자'나 '차가운 맥주'일지라도 '아름다운 남자'에 대해 의미적으로 일관된 이미지를 검색하여, 효과적인 공감 재태깅 능력을 보였다.
• Fact-Net의 성능 향상은 학습 데이터 크기로 설명되지 않으며, 정확도와 데이터 노출 간 상관계수는 최소 0.05에 불과하여 일반화 능력이 학습된 의미적 구조에서 기인함을 시사한다.
• 이미지 캡션 모델은 자연어 공현 빈도를 기반으로 학습하지만, 시각적 감성 작업에서는 성능이 열등하여, 전용 ANP 모델링의 필요성을 강조한다.