[논문 리뷰] Order embeddings and character-level convolutions for multimodal alignment

Jônatas Wehrmann, Anderson Mattjie외 1명|arXiv (Cornell University)|2017. 06. 03.

Multimodal Machine Learning Applications참고 문헌 33인용 수 21

한 줄 요약

이 논문은 단어 임베딩과 RNN을 대체하는 원시 문자 컨볼루션을 사용하는 문자 수준의 컨volutional 신경망을 제안하여 이미지-텍스트 정렬을 수행한다. 이로 인해 파arameter 수가 적고 더 빠르며 단순한 학습이 가능해진다. 순서 임베딩을 사용해 의미 계층을 유지하고, 대비 손실을 최적화함으로써 Microsoft COCO 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the novel and fast advances in the area of deep neural networks, several challenging image-based tasks have been recently approached by researchers in pattern recognition and computer vision. In this paper, we address one of these tasks, which is to match image content with natural language descriptions, sometimes referred as multimodal content retrieval. Such a task is particularly challenging considering that we must find a semantic correspondence between captions and the respective image, a challenge for both computer vision and natural language processing areas. For such, we propose a novel multimodal approach based solely on convolutional neural networks for aligning images with their captions by directly convolving raw characters. Our proposed character-based textual embeddings allow the replacement of both word-embeddings and recurrent neural networks for text understanding, saving processing time and requiring fewer learnable parameters. Our method is based on the idea of projecting both visual and textual information into a common embedding space. For training such embeddings we optimize a contrastive loss function that is computed to minimize order-violations between images and their respective descriptions. We achieve state-of-the-art performance in the largest and most well-known image-text alignment dataset, namely Microsoft COCO, with a method that is conceptually much simpler and that possesses considerably fewer parameters than current approaches.

연구 동기 및 목표

• 다중모odal 검색에서 이미지와 자연어 기술 간의 정렬 문제를 해결하기 위해.
• 계산 비용이 높고 메모리 소비가 큰 사전 학습된 단어 임베딩과 RNN에 의존하지 않기 위해.
• 높은 성능를 유지하면서도 텍스트 이해를 위한 아키텍처를 단순화하기 위해.
• 저자원 또는 다국어 NLP 시나리오에서의 효율성과 확장성 향상을 위해.

제안 방법

• 원시 문자 시퀀스를 직접 처리하기 위해 1D 컨볼루션 레이어를 사용하여 단어 임베딩과 RNN을 대체한다.
• 학습 가능한 필터를 사용한 패딩된 컨볼루션을 적용하여 문자 수준의 텍스트 임베딩을 생성한다.
• 이미지 캡션 계층의 부분 순서 구조를 모델링하기 위해 순서 임베딩을 활용한다.
• 양호한 이미지-캡션 쌍 간의 순서 위반을 방지하기 위해 대비 손실 함수를 최적화한다.
• 시각적 및 텍스트적 특징을 공유 임베딩 공간으로 매핑하여 다중 모odal 정렬을 수행한다.
• 사전 학습 없이 COCO 데이터셋에서 대비 학습을 통해 모델을 엔드 투 엔드로 학습한다.

실험 결과

연구 질문

• RQ1 원시 문자 수준의 컨볼루션은 이미지-텍스트 정렬에서 단어 임베딩과 RNN을 효과적으로 대체할 수 있는가?
• RQ2 순서 임베딩을 사용하면 캡션의 의미 계층을 유지함으로써 성능 향상이 이루어지는가?
• RQ3 더 단순하고 파arameter가 적은 아키텍처가 복잡한 최신 기술 수준의 모델보다 이미지-텍스트 검색에서 뛰어난 성능을 낼 수 있는가?
• RQ4 RNN 기반 기준 모델 대비 학습 효율성과 추론 속도 측면에서 이 방법은 어떻게 스케일링되는가?

주요 결과

• 제안된 방법은 이미지-텍스트 검색 분야에서 Microsoft COCO 데이터셋에서 최신 기술 수준의 성능를 달성한다.
• 기존의 RNN 및 단어 임베딩 기반 접근 방식에 비해 학습 가능한 파arameter 수를 크게 줄였다.
• 사전 학습된 임베딩이나 복잡한 시퀀스 모델링이 필요 없이 더 빠르고 단순하게 학습이 가능하다.
• 실패 사례는 특히 복잡한 장면에서 희귀하거나 모호한 시각적 개념을 다루는 데서 발생하는 과제를 드러낸다.
• 제거 실험을 통해 문자 수준의 컨볼루션만으로도 강력한 성능가능성이 확인되었으며, 일부 설정에서는 단어 임베딩 기반 기준 모델을 초월한다.
• 순서 임베딩의 사용은 계층적 캡션 구조의 정렬을 향상시켜 검색 정확도를 높였다.