[논문 리뷰] Cross-media Multi-level Alignment with Relation Attention Network

Jinwei Qi, Yuxin Peng외 1명|arXiv (Cornell University)|2018. 04. 25.

Multimodal Machine Learning Applications참고 문헌 16인용 수 5

한 줄 요약

이 논문은 시각-언어 관계 주의 메커니즘을 사용하여 다중 수준 정렬(전반적, 국소적, 관계적)을 모델링하는 새로운 프레임워크인 크로스미디어 관계 주의 네트워크(CRAN)를 제안한다. 이미지 및 텍스트 모odal 간의 세밀한 패치와 그 상호의존성을 함께 포착함으로써, CRAN은 두 가지 벤치마크 데이터셋에서 기존 10개의 방법들을 능가하는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

With the rapid growth of multimedia data, such as image and text, it is a highly challenging problem to effectively correlate and retrieve the data of different media types. Naturally, when correlating an image with textual description, people focus on not only the alignment between discriminative image regions and key words, but also the relations lying in the visual and textual context. Relation understanding is essential for cross-media correlation learning, which is ignored by prior cross-media retrieval works. To address the above issue, we propose Cross-media Relation Attention Network (CRAN) with multi-level alignment. First, we propose visual-language relation attention model to explore both fine-grained patches and their relations of different media types. We aim to not only exploit cross-media fine-grained local information, but also capture the intrinsic relation information, which can provide complementary hints for correlation learning. Second, we propose cross-media multi-level alignment to explore global, local and relation alignments across different media types, which can mutually boost to learn more precise cross-media correlation. We conduct experiments on 2 cross-media datasets, and compare with 10 state-of-the-art methods to verify the effectiveness of proposed approach.

연구 동기 및 목표

• 기존 크로스미디어 검색 방법들이 전반적 또는 국소적 정렬에만 집중하고 관계적 맥락을 忽시하는 한계를 해결한다.
• 시각적 및 텍스처적 세밀한 패치 간의 내재된 관계를 모델링하여 크로스미디어 상관관계 학습을 향상시킨다.
• 전반적, 국소적, 관계 수준의 정렬을 통합하여 유사도 측정을 향상시키는 통합 프레임워크를 개발한다.
• 표준 크로스미디어 데이터셋에서 기존 10개의 최신 기술 수준 방법들을 능가하는 뛰어난 검색 정확도를 입증한다.

제안 방법

• 구분 가능한 이미지 영역과 핵심 단어, 그리고 그들의 시각적 및 텍스처적 맥락 내 상호의존성을 함께 주의 집중하는 시각-언어 관계 주의 메커니즘을 제안한다.
• 전체 인스턴스 간 전반적 정렬, 세밀한 패치 간 국소적 정렬, 그리고 맥락적 구조 간 관계 정렬을 동시에 모델링하는 다중 수준 정렬 전략을 설계한다.
• 깊이 신경망을 활용해 공유된 공간에서 공동 표현을 학습함으로써 이질적 미디어 간 직접 코사인 유사도 계산을 가능하게 한다.
• 특징 융합 과정에서 국소 패치와 그 관계적 맥락의 중요도를 동적으로 가중하기 위해 주의 메커니즘을 통합한다.
• 대비 손실을 사용하여 엔드 투 엔드로 모델을 훈련함으로써 크로스미디어 상관관계 학습을 최적화한다.
• 모든 기준 방법들 간의 공정한 비교를 위해 일관된 특징 추출 및 차원 수를 확보한다.

실험 결과

연구 질문

• RQ1 세밀한 시각적 및 텍스처적 패치 간의 관계를 모델링하면 전반적 및 국소적 정렬을 넘어서 크로스미디어 상관관계 학습을 향상시킬 수 있는가?
• RQ2 전반적, 국소적, 관계적 정렬의 다중 수준 정렬 통합이 크로스미디어 작업의 검색 성능에 어떤 영향을 미치는가?
• RQ3 제안된 시각-언어 관계 주의 메커니즘이 기존 주의 또는 전반적 풀링에 비해 특징 표현을 얼마나 향상시키는가?
• RQ4 제안된 CRAN 프레임워크는 표준 벤치마크에서 기존 최신 기술 수준의 방법들을 능가하는가?

주요 결과

• CRAN은 MS-COCO 및 NUS-WIDE 데이터셋 양쪽에서 가장 높은 검색 정확도를 달성하며, 10개의 최신 기술 수준 방법들을 능가한다.
• 제거 실험을 통해 국소 정렬을 추가하면 전반적 정렬 기반 베이스라인 대비 성능 향상이 확인되었고, 추가로 관계 정렬을 통합할 경우 최고의 성능을 기록하였다.
• 시각-언어 관계 주의 모델은 국소적 특징과 그 관계적 맥락에서 상보적인 단서를 효과적으로 포착하여 상관관계 학습을 향상시켰다.
• CCL과 같은 딥러닝 기반 방법들은 강력한 성능을 보였지만, CRAN은 다중 수준 정렬을 명시적으로 모델링함으로써 그들을 능가했다.
• CCA 및 KCCA와 같은 전통적 방법들은 딥러닝 기반 베이스라인에 비해 성능이 열등하여, 더 표현력 있는 아키텍처의 필요성을 강조한다.
• 제안된 CRAN 프레임워크는 두 데이터셋 모두에서 일관된 슈퍼리오리티를 보이며, 강건성과 일반화 능력을 입증하였다.