[논문 리뷰] Modality-Agnostic Attention Fusion for visual search with text feedback

Eric McVoy Dodds, Jack Culpepper외 3명|arXiv (Cornell University)|2020. 06. 30.

Multimodal Machine Learning Applications참고 문헌 57인용 수 48

한 줄 요약

MAAF는 모달리티-무관 어텐션을 통해 이미지와 텍스트 토큰을 융합하여 텍스트로 수정된 이미지 검색을 가능하게 하며 Fashion IQ와 CSS에서 최첨단 성능을 달성하고 Fashion200k에서도 경쟁력 있는 성능을 보인다.

ABSTRACT

Image retrieval with natural language feedback offers the promise of catalog search based on fine-grained visual features that go beyond objects and binary attributes, facilitating real-world applications such as e-commerce. Our Modality-Agnostic Attention Fusion (MAAF) model combines image and text features and outperforms existing approaches on two visual search with modifying phrase datasets, Fashion IQ and CSS, and performs competitively on a dataset with only single-word modifications, Fashion200k. We also introduce two new challenging benchmarks adapted from Birds-to-Words and Spot-the-Diff, which provide new settings with rich language inputs, and we show that our approach without modification outperforms strong baselines. To better understand our model, we conduct detailed ablations on Fashion IQ and provide visualizations of the surprising phenomenon of words avoiding "attending" to the image region they refer to.

연구 동기 및 목표

• 정밀한 시각 검색을 이미지에 자연어 피드백을 더해 단순한 속성 너머로 확장한다.
• 이미지와 텍스트 토큰을 동일하게 취급하는 융합 메커니즘을 개발하여 어텐션 기반 처리에 활용한다.
• 다양한 패션 중심 및 언어 풍부한 검색 데이터셋에서 접근 방식을 경험적으로 평가한다.
• 구성 요소의 기여도와 어텐션 동작을 이해하기 위한 제거 실험과 정성적 분석을 제공한다.

제안 방법

• 모든 입력을 모달리티별로 토큰 시퀀스로 표현한다(이미지: ResNet 피처 맵; 텍스트: LSTM 임베딩).
• 이미지와 텍스트 토큰을 연결하고 모달리티에 구애받지 않는 방식으로 자체 어텐션을 적용하며 Q/K/V를 모달리티 간에 공유한다.
• 각 토큰 유형 내의 토큰 출력을 풀링하고 평균화하여 최근접 이웃 검색을 위한 단일 임베딩을 형성한다.
• 쿼리-타깃 쌍에 대한 배치 기반 분류 손실로 학습하여 recall@k를 최적화한다.
• 교차 어텐션 및 다중 어텐션 블록을 포함한 변형과 Embedding, LSTM, Transformer, BERT 등 다양한 텍스트 표현을 평가한다.

실험 결과

연구 질문

• RQ1 모달리티-무관 어텐션 융합이 텍스트 수정 이미지 검색에 대해 교차 모달 어텐션 변형보다 성능이 우수한가?
• RQ2 다양한 텍스트 복잡도를 가진 데이터셋에서 이미지-텍스트 토큰 융합 전략이 검색 정확도에 어떤 영향을 미치는가?
• RQ3 다른 텍스트 표현과 다중 해상도 이미지 토큰의 영향은 무엇인가?
• RQ4 더 풍부한 언어 입력과 새로운 벤치마크가 융합 방식의 강점과 한계를 드러내는가?

주요 결과

Method	R1
MAAF (ours)	87.8 ± 0.9

• MAAF는 Fashion IQ 검증에서 최상의 단일 모델 성능을 달성하며, 데이터셋에서 이전의 단일 모델 방법들을 능가하고 외부 데이터 없이도 최첨단에 근접한다.
• CSS에서 MAAF는 87.8 recall@1을 달성하여 TIRG 및 FiLM과 같은 이전 방법들보다 크게 높다.
• 다양한 어텐션 변형은 단일 스트림 모달리티-무관 설계가 Fashion IQ에서 여러 이중 스트림 교차 어텐션 구성보다 우수하다는 것을 보여준다.
• 임의로 초기화된 임베딩을 가진 LSTM 기반 텍스트 인코더가 이 작업에서 더 풍부한 자체 어텐션 텍스트 인코더보다 종종 성능이 낫다.
• 정성적 분석은 단어 수정이 참조 대상과 직접적으로 대응하지 않는 영역에 주로 주의가 기울어지는 역설적인 어텐션 동작을 드러낸다.