[논문 리뷰] T-VSE: Transformer-Based Visual Semantic Embedding

Muhammet Baştan, Arnau Ramisa외 1명|arXiv (Cornell University)|2020. 05. 17.

Topic Modeling참고 문헌 13인용 수 4

한 줄 요약

이 논문은 대규모 전자상거래 데이터셋(1,210만 개의 제품 이미지-타이틀 쌍)을 기반으로 훈련된 트랜스포머 기반 시각어휘 임베딩 모델인 T-VSE를 제안한다. 이 모델은 전통적인 RNN 및 단어 평균화 방법보다 심각하게 뛰어난 성능을 보이며, 텍스트에서 이미지 검색 시 38.1%의 R@1과 96.3%의 R@100을 기록한다. 이는 트랜스포머가 충분히 큰 데이터셋과 적절한 전략으로 훈련될 경우 시각어휘 작업에서 뛰어난 성능을 발휘할 수 있음을 보여준다.

ABSTRACT

Transformer models have recently achieved impressive performance on NLP tasks, owing to new algorithms for self-supervised pre-training on very large text corpora. In contrast, recent literature suggests that simple average word models outperform more complicated language models, e.g., RNNs and Transformers, on cross-modal image/text search tasks on standard benchmarks, like MS COCO. In this paper, we show that dataset scale and training strategy are critical and demonstrate that transformer-based cross-modal embeddings outperform word average and RNN-based embeddings by a large margin, when trained on a large dataset of e-commerce product image-title pairs.

연구 동기 및 목표

• 트랜스포머 기반 모델이 대규모 데이터셋에서 훈련될 경우, 전통적인 RNN 및 단어 평균화 모델보다 시각어휘 임베딩 성능이 뛰어나지 않는지 조사한다.
• 데이터셋 규모와 훈련 전략이 시각어휘 작업에서 트랜스포머 성능에 미치는 영향을 평가한다.
• 대규모 사전학습이 트랜스포머가 교차모달 검색에서 뛰어난 성능을 내는 데 기여함을 보여주며, 이는 이전에 트랜스포머의 성능이 열 劣하다는 주장과는 정반대이다.
• 전자상거래 데이터를 활용한 시각어휘 표현 학습의 강력한 베이스라인을 수립한다.

제안 방법

• 모델은 두 개의 스트림으로 구성된 신경망을 사용한다: 이미지 인코딩을 위해 미리 훈련된 DenseNet 169과 텍스트 인코딩을 위한 트랜스포머 기반 텍스트 인코더(예: DistilBERT)를 사용하며, 둘 다 256차원의 임베딩 공간으로 매핑된다.
• 모델은 하드 음성 마이닝을 적용한 대칭 트리플릿 손실(하이브리드 힌지의 최대값)을 사용하여 훈련되며, 간격은 0.2로 설정되어 양성 쌍 간 유사도를 극대화하고 음성 쌍 간 유사도를 최소화한다.
• 이중 단계 훈련 전략을 사용한다: 첫 번째 단계에서는 이미지 인코더의 합성곱 계층을 고정하고, 텍스트 인코더와 임베딩 계층을 2 에포크 동안 랜덤 초기화 상태에서 훈련한다. 이후 두 번째 단계에서는 전체 모델을 50 에포크까지 미세조정하며, 초기 학습률을 감소시킨다.
• 데이터 증강은 훈련 중에 333×333로 리사이징하고, 랜덤 컷을 227×227로 적용하며, 수평 뒤집기를 적용한다. 추론 시에는 중심 컷을 사용한다.
• 텍스트 인코더는 사전 훈련된 DistilBERT 모델에서 초기화되지만, 대규모 제품 데이터셋에서 엔드 투 엔드로 미세조정된다. 어휘 크기는 30,000이다.
• 모델은 아마존 패션 제품의 1,100만 개의 (이미지, 타이틀) 쌍에서 훈련되며, R@K 메트릭을 사용해 100만 개의 테스트 세트에서 평가된다.

실험 결과

연구 질문

• RQ1 대규모 데이터셋에서 훈련될 경우, 트랜스포머 기반 모델이 RNN 및 단어 평균화 모델보다 시각어휘 임베딩 성능에서 뛰어나지 않는가?
• RQ2 훈련 데이터의 규모가 트랜스포머 기반 시각어휘 임베딩 모델의 성능에 상당한 영향을 미치는가?
• RQ3 대규모 텍스트 코퍼스에서의 자기지도 사전학습이 대규모 이미지-텍스트 데이터와 결합될 경우, 시각어휘 작업에서 효과적으로 활용될 수 있는가?
• RQ4 이전 연구에서 BERT 유사 모델이 시각어휘 작업에서 성능이 열 劣하다고 보고한 이유는 무엇이며, 적절한 훈련과 데이터 규모로 이를 극복할 수 있는가?

주요 결과

• 12층의 DistilBERT 인코더를 사용한 T-VSE는 텍스트에서 이미지 검색 시 38.1%의 R@1과 96.3%의 R@100을 기록하며, AVG-VSE(12.7% R@1, 81.7% R@100)와 RNN-VSE(12.7% R@1, 83.3% R@100)보다 뚜렷이 뛰어나다.
• T-VSE에서 이미지에서 텍스트 검색 성능은 텍스트에서 이미지 검색보다 略 높다(40.5% R@1 대비 38.1% R@1), 이는 트랜스포머의 더 강력한 텍스트 모델링 능력 때문일 것이다.
• 배치 크기를 400으로 늘리고 훈련을 30에서 50 에포크로 연장함으로써 T-VSE의 성능이 향상되어 텍스트에서 이미지 검색 시 38.1% R@1과 96.3% R@100을 달성한다. 이는 깊이 있는 모델이 더 긴 훈련 기간에서 유의미한 이점을 얻는다는 것을 시사한다.
• T-VSE와 베이스라인 모델(_AVG-VSE, RNN-VSE) 간의 성능 격차는 매우 크며, T-VSE는 텍스트에서 이미지 검색에서 30% 이상의 R@1 성능을 기록하는 반면, 베이스라인은 13% 미만이다.
• 결과는 트랜스포머 모델이 대규모 고품질 이미지-텍스트 데이터셋에서 훈련될 경우, 교차모달 검색에서 단순한 모델들을 능가할 수 있음을 보여주며, 이는 이전에 트랜스포머의 성능이 열 劣하다는 주장과는 정반대이다.
• 이 연구는 데이터셋 규모와 훈련 전략이 매우 중요하다는 점을 보여주며, 대규모 데이터와 적절한 미세조정 전략이 트랜스포머가 시각어휘 임베딩에서 최고 성능을 내는 데 기여한다.