[논문 리뷰] Full-Network Embedding in a Multimodal Embedding Pipeline

Armand Vilalta, Dario García-Gasulla외 5명|arXiv (Cornell University)|2017. 07. 24.

Multimodal Machine Learning Applications참고 문헌 23인용 수 5

한 줄 요약

이 논문은 Kiros 등(2014)의 다중모odal 임베딩 파이프라인에 Full-Network Embedding(FNE), 즉 다중 척도 및 계층적 CNN 기반의 이미지 표현 방식을 통합하여 표준 1층 CNN 특징을 대체한다. FNE는 Flickr8k, Flickr30k 및 MSCOCO에서 이미지 애너테이션 및 검색 작업 전반에서 성능을 향상시키며, MSCOCO에서 이미지 애너테이션 작업에서 최신 기술 수준의 성능을 달성하고, 1층 임베딩 대비 평균 3–4%p 높은 성능을 보이며 더 풍부한 시각적 표현임을 입증한다.

ABSTRACT

The current state-of-the-art for image annotation and image retrieval tasks is obtained through deep neural networks, which combine an image representation and a text representation into a shared embedding space. In this paper we evaluate the impact of using the Full-Network embedding in this setting, replacing the original image representation in a competitive multimodal embedding generation scheme. Unlike the one-layer image embeddings typically used by most approaches, the Full-Network embedding provides a multi-scale representation of images, which results in richer characterizations. To measure the influence of the Full-Network embedding, we evaluate its performance on three different datasets, and compare the results with the original multimodal embedding generation scheme when using a one-layer image embedding, and with the rest of the state-of-the-art. Results for image annotation and image retrieval tasks indicate that the Full-Network embedding is consistently superior to the one-layer embedding. These results motivate the integration of the Full-Network embedding on any multimodal embedding generation scheme, something feasible thanks to the flexibility of the approach.

연구 동기 및 목표

• Full-Network Embedding(FNE)이 표준 1층 CNN 특징에 비해 다중모달 임베딩 성능을 향상시키는지 평가하는 것.
• FNE가 다양한 기준 데이터셋에서 이미지 애너테이션 및 이미지 검색 작업에 미치는 영향을 평가하는 것.
• FNE가 Kiros 등(2014)이 제안한 일반적인 다중모달 임베딩 파이프라인에서 성능 향상에 기여할 수 있는지 판단하는 것.
• FNE 기반 모델(FN-MME)을 현재 최신 기술 수준의 방법들과 비교하여 이미지 애너테이션 및 이미지 검색에서의 성능을 평가하는 것.
• FNE가 다양한 다중모달 아키텍처에서 일반적인 이미지 표현으로서의 일반화 능력을 갖추고 있는지 조사하는 것.

제안 방법

• FNE는 모든 레이어의 활성화를 집계하여 사전 학습된 CNN에서 추출되며, 다중 척도 시각적 특징을 캡처한다.
• FNE는 Kiros 등(2014)의 다중모달 임베딩 파이프라인에서 이미지 표현으로 사용되며, 이는 GRU 기반 텍스트 인코딩과 CNN 기반 이미지 인코딩을 결합한다.
• 애핀 변환을 통해 FNE의 차원을 텍스트 임베딩 공간과 일치시켜 공유 다중모달 임베딩 공간을 형성한다.
• 파이프라인은 표준 평가 지표인 Recall@K 및 중앙값 순위를 사용하여 Flickr8k, Flickr30k 및 MSCOCO 세 가지 데이터셋에서 평가된다.
• FNE는 기준으로 삼는 1층 CNN 임베딩, 원본 CNN-MME 모델, 그리고 FV 및 W2VV와 같은 최신 기술 수준의 모델과 비교된다.
• 성능 평가를 위해 1,000개 및 5,000개의 테스트 이미지를 사용한 실험을 수행하여 다양한 평가 설정에서의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 1층 CNN 임베딩을 Full-Network Embedding(FNE)으로 대체할 경우, 다중모달 이미지-텍스트 검색 및 애너테이션 작업에서 성능 향상이 이루어지는가?
• RQ2 1층 임베딩을 사용하는 원본 Kiros 등(2014) 파이프라인과 비교할 때, FNE 기반 모델(FN-MME)은 어떻게 성능을 내는가?
• RQ3 FNE 기반 모델은 이미지 애너테이션 및 이미지 검색 분야에서 현재 최신 기술 수준에 얼마나 가까이 도달하거나 이를 초월하는가?
• RQ4 FNE로 인한 성능 향상은 다양한 데이터셋 크기와 기준 설정에서 일관되게 유지되는가?
• RQ5 FNE는 기존의 다중모달 임베딩 파이프라인에 일반적인 이미지 표현으로 효과적으로 통합될 수 있는가?

주요 결과

• FN-MME 모델은 Flickr 데이터셋 전반에서 1층 임베딩을 사용하는 원본 CNN-MME 모델보다 평균 3%p 높은 성능을 보이며, MSCOCO 데이터셋에선 4%p 높은 성능을 기록한다.
• MSCOCO 데이터셋에서 FN-MME는 이미지 애너테이션 분야에서 보고된 최고 성능을 달성하여, W2VV와 같은 최신 기술 수준의 모델을 포함한 모든 테스트 모델을 앞서며 최고 성능을 기록한다.
• 이미지 검색 작업에서는 FN-MME가 현재 최신 기술 수준(FV)보다 유의미하게 열등한 성능을 보이며, FNE가 이 특정 작업에서는 덜 효과적임을 시사한다.
• FNE로 인한 성능 향상은 세 데이터셋 전반에서 일관되며, 특히 MSCOCO와 같이 더 큰 데이터셋에서 더 강한 향상 효과를 보인다.
• FNE 기반 모델은 특히 더 큰 데이터셋에서 최신 기술 수준의 방법들과 경쟁 가능하며, 이는 고도화된 파이프라인에 통합될 경우 성능 향상 잠재력을 지닌다는 것을 시사한다.
• 결과적으로 FNE는 1층 임베딩보다 더 풍부하고 강력한 시각적 표현을 제공함을 입증하며, 어떤 다중모달 임베딩 프레임워크에나 통합될 수 있는 강력한 후보로 부상한다.