[논문 리뷰] Deep Cross-media Knowledge Transfer

Xin Huang, Yuxin Peng|arXiv (Cornell University)|2018. 03. 10.

Multimodal Machine Learning Applications참고 문헌 39인용 수 3

한 줄 요약

이 논문은 대규모 소스 데이터셋(XMediaNet)에서 소규모 타겟 데이터셋으로 내부 미디어 의미 및 상호 미디어 상관 관계 지식을 전이하기 위해 미디어 수준 및 상관 관계 수준의 도메인 불일치를 동시에 감소시키는 이중 수준 전이 프레임워크인 딥 컬러미디어 지식 전이(DCKT)를 제안한다. DCKT는 위키백과 및 파스칼 문장과 같은 타겟 데이터셋에서 최대 10%까지 MAP 점수 상승을 기록하며 교차 미디어 검색 정확도에서 뚜렷한 향상을 이룬다. 이는 도메인 이동과 레이블 공간 불일치 상황에서도 강건함을 입증한다.

ABSTRACT

Cross-media retrieval is a research hotspot in multimedia area, which aims to perform retrieval across different media types such as image and text. The performance of existing methods usually relies on labeled data for model training. However, cross-media data is very labor consuming to collect and label, so how to transfer valuable knowledge in existing data to new data is a key problem towards application. For achieving the goal, this paper proposes deep cross-media knowledge transfer (DCKT) approach, which transfers knowledge from a large-scale cross-media dataset to promote the model training on another small-scale cross-media dataset. The main contributions of DCKT are: (1) Two-level transfer architecture is proposed to jointly minimize the media-level and correlation-level domain discrepancies, which allows two important and complementary aspects of knowledge to be transferred: intra-media semantic and inter-media correlation knowledge. It can enrich the training information and boost the retrieval accuracy. (2) Progressive transfer mechanism is proposed to iteratively select training samples with ascending transfer difficulties, via the metric of cross-media domain consistency with adaptive feedback. It can drive the transfer process to gradually reduce vast cross-media domain discrepancy, so as to enhance the robustness of model training. For verifying the effectiveness of DCKT, we take the largescale dataset XMediaNet as source domain, and 3 widelyused datasets as target domain for cross-media retrieval. Experimental results show that DCKT achieves promising improvement on retrieval accuracy.

연구 동기 및 목표

• 딥 러닝 기반 검색 시스템에서 제한된 레이블이 부여된 교차 미디어 데이터 문제를 해결하기 위해.
• 대규모 다중 모odal 데이터셋(XMediaNet)에서 레이블 공간이 다를 수 있는 다양한 소규모 타겟 데이터셋으로 효과적인 지식 전이를 가능하게 하기 위해.
• 레이블가 완전히 겹치지 않을 경우에도 소스 도메인과 타겟 도메인 간 광범위한 도메인 불일치를 줄이기 위해.
• 전이 어려움에 따라 샘플을 우선순위 정렬하는 점진적이고 적응적인 학습 전략을 통해 모델의 강건성과 검색 정확도를 향상시키기 위해.

제안 방법

• 소스 도메인과 타겟 도메인 간의 미디어 수준 불일치(내모달 분포 이동)와 상관 관계 수준 불일치(다중 모달 정렬)를 동시에 최소화하는 이중 수준 전이 아키텍처를 제안한다.
• 교차 미디어 도메인 일관성 지표를 사용하고 적응 피드백을 적용하여 전이 어려움 순으로 증가하는 순서로 반복적으로 학습 샘플을 선택하는 점진적 전이 메커니즘을 도입한다.
• 이미지 및 텍스트 데이터를 공통 임bedding 공간으로 매핑하기 위해 공유 및 모달리티 전용 인코더를 갖춘 딥 신경망을 활용한다.
• 내모달 정렬을 위한 콘트라스트 손실과 다중 모달 랭킹 손실을 결합한 다중 작업 손실 함수를 사용한다.
• 하이퍼파ram터 α에 의해 제어되는 동적 샘플링 전략을 적용하여 탐색과 일반화 사이의 균형을 유지한다.
• 사전 학습된 소스 도메인(XMediaNet) 모델을 전이의 초기 지점으로 활용하고, 점진적 메커니즘을 통해 타겟 도메인에서 미세조정한다.

실험 결과

연구 질문

• RQ1 대규모 교차 미디어 데이터셋에서의 지식 전이가 제한된 애너테이션을 가진 소규모 타겟 데이터셋에서 검색 성능을 뚜렷이 향상시킬 수 있는가?
• RQ2 내부 미디어 의미 지식과 상호 미디어 상관 관계 지식을 동시에 전이하여 모델의 일반화 능력을 향상시킬 수 있는가?
• RQ3 전이 어려움에 기반한 점진적 샘플 선택 전략이 교차 미디어 검색에서 모델의 강건성 향상과 도메인 불일치 감소에 기여하는가?
• RQ4 DCKT의 성능은 소스 도메인과 타겟 도메인 간 레이블 공간 겹침에 얼마나 민감한가?

주요 결과

• 위키백과 데이터셋에서 DCKT는 평균 평균 정확도(MAP) 0.511을 기록하였으며, 이는 전이 없이 학습된 베이스라인 모델 대비 10.5% 상대적 향상이다.
• NUS-WIDE-10k 데이터셋에서 DCKT는 MAP 0.570을 달성하였으며, 이는 베이스라인 대비 7.5% 향상된 것으로, 레이블 겹침이 미미한 경우에도 강력한 성능을 보였다.
• 파스칼 문장 데이터셋에서 DCKT는 MAP 0.585를 기록하였으며, 이는 베이스라인 대비 10.6% 향상된 것으로, 높은 도메인 이동 상황에서도 효과적인 전이를 보였다.
• 제거 실험을 통해 미디어 수준과 상관 관계 수준 전이를 모두 조합할 경우 가장 우수한 성능을 내며, 개별 전략보다 뛰어난 성능을 보였다.
• 점진적 전이 메커니즘이 무작위 샘플링 및 전체 배치 샘플링 전략보다 뚜렷이 뛰어나며, DCKT_{Full}과 DCKT_{Random}은 DCKT_{Full}보다 낮은 MAP 점수를 기록하였다.
• 레이블 공간 불일치 상황에서도 성능 저하가 최소한이 되어, 겹치는 카테고리가 제거된 $DCKT_{No\textbackslash{} overlap}$ 변종에서도 성능 저하가 거의 없이 강건함을 입증하였다.