[논문 리뷰] Large Scale Multimodal Classification Using an Ensemble of Transformer Models and Co-Attention

Varnith Chordia, Vijay Kumar B G|arXiv (Cornell University)|2020. 11. 23.

Multimodal Machine Learning Applications참고 문헌 19인용 수 8

한 줄 요약

이 논문은 대규모 전자상거래 제품 분류를 위해 이미지 및 텍스트 특징을 공동으로 활용하기 위해 공액 주의(코어텐션)를 갖춘 트랜스포머 모델의 앙상블을 사용하는 다중모달 분류 프레임워크를 제안한다. 사전 훈련된 CLIP 임베딩에 双중 주의를 적용함으로써, 이 방법은 SIGIR eCom Rakuten 데이터 챌린지에서 기존의 단모달 및 표준 다중모달 베이스라인을 능가하는 최신 기술 성능을 달성하였으며, 교차모달 특징 상호작용의 향상으로 인해 성능 향상을 이룩하였다.

ABSTRACT

Accurate and efficient product classification is significant for E-commerce applications, as it enables various downstream tasks such as recommendation, retrieval, and pricing. Items often contain textual and visual information, and utilizing both modalities usually outperforms classification utilizing either mode alone. In this paper we describe our methodology and results for the SIGIR eCom Rakuten Data Challenge. We employ a dual attention technique to model image-text relationships using pretrained language and image embeddings. While dual attention has been widely used for Visual Question Answering(VQA) tasks, ours is the first attempt to apply the concept for multimodal classification.

연구 동기 및 목표

• 전자상거래에서 제품 분류 정확도를 향상시키기 위해 시각적 및 텍스트 정보를 모두 활용하는 것.
• 복잡하고 다양한 제품 카테고리로 이루어진 대규모 데이터셋에서 다중모달 신호를 효과적으로 융합하는 과제를 해결하는 것.
• 이미지 질문 응답(VQA)에서 이전에 사용된 이중 주의 기반 메커니즘을 다중모달 분류 설정에 적용해 보는 것.
• 확장 가능한 앙상블 기반 딥 러닝 접근 방식을 사용하여 SIGIR eCom Rakuten 데이터 챌린지에서 높은 성능을 달성하는 것.

제안 방법

• 모델은 사전 훈련된 CLIP 이미지 및 텍스트 인코더를 활용해 초기 다중모달 임베딩을 추출한다.
• 이중 주의 메커니즘이 이미지 및 텍스트 특징을 동적으로 주시하도록 적용되어 교차모달 특징 정제를 가능하게 한다.
• 주의 메커니즘은 이미지 및 텍스트 토큰 간의 호환성 점수를 계산하여 맥락 인식 가능한 공동 표현을 생성한다.
• 여러 개의 트랜스포머 기반 모델을 앙상블하여 훈련하고 평균화함으로써 정확도 향상과 일반화 능력을 향상시킨다.
• 최종 예측 헤드는 다층퍼셉트론을 사용하여 제품을 계층적 카테고리로 분류한다.
• 이 프레임워크는 대량의 제품 이미지와 설명을 포함한 라쿠텐 전자상거래 데이터셋에서 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 이중 주의 메커니즘이 대규모 제품 분류를 위한 다중모달 표현 학습에 효과적으로 기여할 수 있는가?
• RQ2 전자상거래 환경에서 이미지 및 텍스트 특징를 공동으로 모델링하는 것이 단모달 베이스라인과 비교해 어떻게 다른가?
• RQ3 다양한 트랜스포머 모델을 앙상블함으로써 복잡한 실세계 분류 벤치마크에서 성능 향상이 어느 정도 이루어지는가?
• RQ4 제한된 레이블 데이터를 가진 환경에서 사전 훈련된 CLIP 임베딩을 효과적으로 미세조정할 수 있는가?

주요 결과

• 제안된 앙상블 모델은 SIGIR eCom Rakuten 데이터 챌린지에서 가장 높은 성능을 기록하였으며, 단모달 및 다중모달 베이스라인을 모두 능가하였다.
• 이중 주의의 사용은 더 풍부한 교차모달 특징 상호작용을 가능하게 하여 분류 정확도를 크게 향상시켰다.
• 모델는 다양한 제품 카테고리에 걸쳐 강력한 일반화 능력을 보이며 도메인 이동에 대한 저항력을 나타냈다.
• 여러 트랜스포머 모델을 앙상블함으로써 일관된 성능 향상이 이루어졌으며, 분산을 줄이고 신뢰성을 높였다.