[논문 리뷰] CCL: Cross-modal Correlation Learning with Multi-grained Fusion by Hierarchical Network

Yuxin Peng, Jinwei Qi외 2명|arXiv (Cornell University)|2017. 04. 07.

Advanced Image and Video Retrieval Techniques참고 문헌 40인용 수 5

한 줄 요약

이 논문은 다중 해상도 융합 설정에서 내부 및 상호 모odal 상관관계를 동시에 모델링하는 계층적 다중모odal 상관관계 학습 프레임워크인 CCL을 제안한다. 근본적인 인스턴스와 세밀한 패치를 공동 최적화 및 다중 작업 학습을 통해 통합함으로써, CCL은 여섯 개인 벤치마크 데이터셋에서 최신 기술 수준(SOTA) 성능을 달성하며, 13개의 SOTA 방법보다 다중모달 검색 정확도에서 뛰어나다.

ABSTRACT

Cross-modal retrieval has become a highlighted research topic for retrieval across multimedia data such as image and text. A two-stage learning framework is widely adopted by most existing methods based on Deep Neural Network (DNN): The first learning stage is to generate separate representation for each modality, and the second learning stage is to get the cross-modal common representation. However, the existing methods have three limitations: (1) In the first learning stage, they only model intra-modality correlation, but ignore inter-modality correlation with rich complementary context. (2) In the second learning stage, they only adopt shallow networks with single-loss regularization, but ignore the intrinsic relevance of intra-modality and inter-modality correlation. (3) Only original instances are considered while the complementary fine-grained clues provided by their patches are ignored. For addressing the above problems, this paper proposes a cross-modal correlation learning (CCL) approach with multi-grained fusion by hierarchical network, and the contributions are as follows: (1) In the first learning stage, CCL exploits multi-level association with joint optimization to preserve the complementary context from intra-modality and inter-modality correlation simultaneously. (2) In the second learning stage, a multi-task learning strategy is designed to adaptively balance the intra-modality semantic category constraints and inter-modality pairwise similarity constraints. (3) CCL adopts multi-grained modeling, which fuses the coarse-grained instances and fine-grained patches to make cross-modal correlation more precise. Comparing with 13 state-of-the-art methods on 6 widely-used cross-modal datasets, the experimental results show our CCL approach achieves the best performance.

연구 동기 및 목표

• 대표적 표현 학습 과정에서 상호 모달 상관관계와 세밀한 단서를 忽시하는 기존 다중모달 검색 방법의 한계를 해결한다.
• 첫 번째 단계에서 내모달 및 상호 모달 상관관계를 공동 최적화하여 다중모달 공통 표현 학습을 향상시킨다.
• 다중 해상도 모델링을 통해 근본적인 인스턴스와 세밀한 패치를 융합하여 검색 정확도를 향상시킨다.
• 두 번째 단계에서 의미 분류 및 쌍별 유사도 제약 조건을 적응적으로 균형 잡는 다중 작업 학습 전략을 개발한다.
• 다양한 다중모달 데이터셋에서 제안된 프레임워크의 유효성을 입증한다.

제안 방법

• 근본적 및 세밀한 표현 학습을 위한 별도의 하위 네트워크를 갖춘 계층적 네트워크를 제안한다.
• 첫 번째 학습 단계에서 내모달 복원 손실과 상호 모달 상관관계 손실을 공동 최적화하여 보완적 맥락을 유지한다.
• 두 번째 단계에서 내모달 의미 분류 제약 조건과 상호 모달 쌍별 유사도 제약 조건을 동시에 강제하는 다중 작업 학습 전략을 구현한다.
• 더 정밀한 다중모달 상관관계를 위해 근본적 및 세밀한 표현을 융합하는 융합 하위 네트워크를 사용한다.
• 이미지에서 분류 가능한 국소 패치와 해당 텍스트 세그먼트를 추출하고 융합함으로써 다중 해상도 모델링을 활용한다.
• 전체 네트워크를 최적화하기 위해 역전파를 사용한 엔드 투 엔드 학습을 적용한다. 이는 공동 최적화 및 다중 작업 목표를 포함한다.

실험 결과

연구 질문

• RQ1 내모달 및 상호 모달 상관관계를 공동 최적화하면 다중모달 검색에서 별도의 표현 학습 성능이 향상되는가?
• RQ2 근본적 인스턴스와 세밀한 패치를 융합하면 더 정확한 다중모달 공통 표현이 도출되는가?
• RQ3 의미 분류와 쌍별 유사도 제약 조건을 균형 잡는 다중 작업 학습 전략이 검색 성능을 향상시키는가?
• RQ4 제안된 다중 해상도 융합 프레임워크는 단일 해상도 또는 융합되지 않은 접근 방식에 비해 정확도 및 강건성 측면에서 어떻게 비교되는가?
• RQ5 보완적인 세밀한 단서를 통합함으로써 다중모달 상관관계 학습에 어떤 영향을 미치는가?

주요 결과

• CCL은 여섯 개인 널리 사용되는 다중모달 데이터셋에서 최고의 평균 평균 정밀도(MAP)를 달성하며, 13개의 최신 기술 수준(SOTA) 방법보다 뛰어나다.
• 제거 실험 결과, 근본적 또는 세밀한 표현만을 사용할 경우 전체 다중 해상도 융합 접근 방식보다 성능이 떨어지는 것으로 나타났다.
• 첫 번째 단계에서 내모달 및 상호 모달 상관관계를 공동 최적화하면, 단일 유형의 상관관계만을 사용하는 경우보다 더 높은 MAP를 달성한다.
• 두 번째 단계에서의 다중 작업 학습 전략은 의미 분류 및 쌍별 유사도 제약 조건을 효과적으로 균형 잡아 일반화 능력을 향상시킨다.
• CCL은 일부 기준 모델보다 약간 더 긴 학습 시간을 가지지만, 추론 과정에선 추가 비용이 거의 발생하지 않아 구현에 매우 효율적이다.
• 대규모 NUS-WIDE 데이터셋에서도 고차원 표현에도 불구하고 CCL은 높은 효율성을 유지하며, KCCA처럼 매우 고차원 출력을 갖는 방법들보다 뛰어난 성능을 보였다.