[논문 리뷰] Understanding Visual Ads by Aligning Symbols and Objects using Co-Attention

Karuna Ahuja, Karan Sikka외 2명|arXiv (Cornell University)|2018. 07. 04.

Multimodal Machine Learning Applications참고 문헌 25인용 수 12

한 줄 요약

이 논문은 시각적 의미 임베딩 프레임워크 내에서 다단계 공주의 기반 메커니즘을 제안하여 이미지 영역과 상징적 참조 간의 정렬을 통해 시각 광고 이해를 향상시킨다. 시각적 제안과 기호 간의 주의를 반복적으로 개선함으로써, 모델은 광고 데이터셋에서 평균 순위 6.58을 달성하여, 약한 지도 학습 설정에서 기호적이고 의미적인 뉘앙스를 효과적으로 포착함으로써 기준 모델들을 능가한다.

ABSTRACT

We tackle the problem of understanding visual ads where given an ad image, our goal is to rank appropriate human generated statements describing the purpose of the ad. This problem is generally addressed by jointly embedding images and candidate statements to establish correspondence. Decoding a visual ad requires inference of both semantic and symbolic nuances referenced in an image and prior methods may fail to capture such associations especially with weakly annotated symbols. In order to create better embeddings, we leverage an attention mechanism to associate image proposals with symbols and thus effectively aggregate information from aligned multimodal representations. We propose a multihop co-attention mechanism that iteratively refines the attention map to ensure accurate attention estimation. Our attention based embedding model is learned end-to-end guided by a max-margin loss function. We show that our model outperforms other baselines on the benchmark Ad dataset and also show qualitative results to highlight the advantages of using multihop co-attention.

연구 동기 및 목표

• 이미지 내의 상징적이고 의미적인 참조를 모델링하여 시각 광고 이해의 과제를 해결하는 것.
• 기호와 감정에서 유도된 약한 지도 학습 신호를 활용하여 이미지와 인간이 생성한 문장 간의 다중모달 매칭을 향상시키는 것.
• 표준 주의 메커니즘이 이미지 영역과 상징적 참조 간의 다대다 매핑을 다룰 때의 한계를 극복하는 것.
• 반복적으로 주의 맵을 개선하는 공주의 기반 메커니즘을 개발하여 더 나은 정렬과 표현 학습을 달성하는 것.
• 다단계 공주의 기반 메커니즘이 시각 광고 내 복잡한 상징적이고 의미적인 관계를 포착하는 데 효과적인지 입증하는 것.

제안 방법

• 모델은 다단계 공주의 기반 메커니즘을 사용하여, 여러 반복 동안 기호 표현에 기반해 이미지 영역을 주의하고, 그 반대로도 반복적으로 주의를 기울인다.
• 이미지 특징은 ResNet-101을 사용해 상위 70개의 물체 제안에서 추출되며, 기호 표현은 약한 지도 학습 기반의 기호 검출 모델에서 사전 훈련된 점수를 사용해 초기화된다.
• 주의 맵은 반복적으로 개선되며, 각 단계는 이전 주의 출력에 조건화되어 시각적 및 기호적 모odal 간의 점진적 정렬을 가능하게 한다.
• 최종 다중모달 임베딩은 모든 공주의 주의 힙을 통해 주의가 간 시각적 및 기호적 특징을 융합하여 형성된다.
• 모델은 양성 이미지-문장 쌍에 대해 음성 쌍보다 유사도 점수를 더 높게 유도하는 max-margin 손실 함수를 사용해 엔드 투 엔드로 훈련된다.
• 물체 제안을 시각적 기준점으로 사용하고 기호 신호로 주의를 이끌어내는 방식으로, 바닥에서부터 올라오는 주의와 정상적인 주의를 통합한다.

실험 결과

연구 질문

• RQ1 다단계 공주의 기반 메커니즘이 시각 광고 내 시각적 영역과 상징적 참조 간의 정렬을 향상시킬 수 있는가?
• RQ2 주의 맵의 반복적 개선이 약한 지도 학습 기반 광고 이해에서 다중모달 매칭 성능에 어떤 영향을 미치는가?
• RQ3 공주의 기반 메커니즘이 광고 내 복잡한 상징적 관계를 모델링하는 데 있어 표준 상향식 또는 하향식 주의 메커니즘을 능가하는가?
• RQ4 기호 초기화 점수와 주의 개선이 광고 데이터셋에서 성능 향상에 얼마나 기여하는가?
• RQ5 제안된 방법이 영역-기호 관계가 모호한 약한 레이블이 부여된 데이터에 일반화 가능한가?

주요 결과

• 제안된 VSE-CoAtt-2 모델은 광고 데이터셋에서 평균 순위 6.58을 달성하여 기준 모델인 VSE 모델(평균 순위 7.79)을 크게 능가한다.
• 다단계 공주의 기반 메커니즘(VSE-CoAtt-2)은 단일 힙 공주의 기반 메커니즘(VSE-CoAtt) 대비 평균 순위를 0.10 감소시켜 반복적 개선의 이점을 입증한다.
• 고정된 주의 템플릿을 사용하는 VSE-P-Att(평균 순위 7.35)보다 성능이 뛰어나, 동적이고 주의에 기반한 정렬의 이점이 뚜렷하다.
• 기호별 확률을 주의 초기화에 사용한 경우(VSE-CoAtt-wt 및 VSE-CoAtt-2-wt)는 약간의 성능 저하(평균 순위 6.77 및 6.75)를 보이며, 제한된 데이터에서 과적합의 가능성을 시사한다.
• 제거 분석을 통해 다단계 공주의 기반 메커니즘이 시각 광고 내 미세한 상징적이고 의미적인 관계를 포착하는 데 필수적임을 확인한다.
• 모델은 주의 정렬의 정성적 향상을 보이며, PSA 광고에서 '죽음'과 같은 기호를 관련 이미지 영역과 정확히 정렬하는 데 성공한다.