[논문 리뷰] Creating Something from Nothing: Unsupervised Knowledge Distillation for Cross-Modal Hashing

Hengtong Hu, Lingxi Xie외 2명|arXiv (Cornell University)|2020. 04. 01.

Advanced Image and Video Retrieval Techniques참고 문헌 46인용 수 7

한 줄 요약

이 논문은 인스턴스 수준 레이블이 필요 없이 검색 성능을 향상시키기 위해 감독 학습된 학생 모델을 비감독 교사 모델로 안내하는 비감독 지식 정복(UKD)을 제안한다. 교사의 유사도 행렬을 활용해 의사 supervision을 생성함으로써, UKD는 MIRFlickr와 NUS-WIDE에서 기존 비감독 방법에 비해 크게 뛰어난 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

In recent years, cross-modal hashing (CMH) has attracted increasing attentions, mainly because its potential ability of mapping contents from different modalities, especially in vision and language, into the same space, so that it becomes efficient in cross-modal data retrieval. There are two main frameworks for CMH, differing from each other in whether semantic supervision is required. Compared to the unsupervised methods, the supervised methods often enjoy more accurate results, but require much heavier labors in data annotation. In this paper, we propose a novel approach that enables guiding a supervised method using outputs produced by an unsupervised method. Specifically, we make use of teacher-student optimization for propagating knowledge. Experiments are performed on two popular CMH benchmarks, i.e., the MIRFlickr and NUS-WIDE datasets. Our approach outperforms all existing unsupervised methods by a large margin.

연구 동기 및 목표

• 감독 학습 기반 크로스모달 해싱(CMH) 방법의 높은 레이블링 비용 문제를 해결하면서도 높은 검색 정확도를 유지하고자 한다.
• 비감독 모델이 지식 정복을 통해 감독 모델을 안내할 수 있는지 탐색하고자 한다.
• 비감독 모델이 제공하는 광범위한 관련성 정보를 활용해 감독 학습을 향상시키는 방법을 개발하고자 한다.
• 비감독 모델이 생성한 고품질 유사도 행렬이 감독 학습을 위한 효과적인 의사 supervision으로 기능할 수 있음을 입증하고자 한다.
• 제안된 방법이 다양한 백본 모델과 특징 추출기에서 일반화되고 탄력적인지 검증하고자 한다.

제안 방법

• 두 단계 프레임워크를 제안한다: 먼저 비감독 CMH 모델(교사)를 훈련시켜 고품질의 특징 표현과 유사도 행렬을 생성한다.
• 특징 수준의 거리에서 유도된 교사의 유사도 행렬을 의사 supervision으로 사용하여 감독 학생 모델을 안내한다.
• 학생 모델의 예측 유사도와 교사의 계산된 유사도 행렬 간의 KL 발산을 최소화함으로써 지식 정복을 적용한다.
• 학생 모델은 정규화된 대비 손실과 함께 정복 손실을 함께 사용하여 의미적 정렬을 유지한다.
• 이 방법은 모듈러하고 탄력적이며, 서로 다른 비트 길이와 아키텍처를 가진 교사 및 학생 모델을 교환 가능하게 한다.
• MIRFlickr와 NUS-WIDE에서 mAP 및 상위-K 정밀도를 사용해 평가하며, 선택된 관련 쌍과 교사의 강도에 대한 분석 연구를 실시한다.

실험 결과

연구 질문

• RQ1 비감독 CMH 모델이 감독 CMH 모델의 성능 향상을 위해 효과적으로 의사 supervision을 생성할 수 있는가?
• RQ2 교사의 유사도 행렬 품질이 정복 과정의 성능에 어떤 영향을 미치는가?
• RQ3 비감독 교사로부터의 지식 정복이 순수하게 비감독 기반 대비 검색 정확도 향상에 기여하는가?
• RQ4 정복 과정에서 선택된 관련 쌍의 수가 성능에 얼마나 민감한가?
• RQ5 제안된 방법이 다양한 특징 추출기와 모델 아키텍처 간에 일반화 가능한가?

주요 결과

• UKD는 MIRFlickr와 NUS-WIDE 벤치마크에서 모든 기존 비감독 CMH 방법보다 뚜렷이 뛰어난 성능을 보이며, 최신 기술 성능(mAP)을 달성한다.
• 128비트 UGACH 모델을 교사로 사용할 경우, UKD는 MIRFlickr에서 16비트 mAP 68.9%를 기록하여 기준 UGACH보다 5퍼센트 이상 높게 기록한다.
• 약한 16비트 교사 모델을 사용하더라도 UKD는 일관된 정확도 향상을 기록하지만, 강력한 교사 모델을 사용한 경우보다는 낮은 성능 향상을 보인다.
• 선택된 관련 쌍의 수가 많아질수록 성능 향상이 이루어지지만, 너무 많은 저품질 쌍이 포함되면 성능이 포화 상태에 이르거나 약간 감소함을 보이며, 양과 품질 사이의 상충 관계를 시사한다.
• 더 강력한 학생 모델을 사용한 UKD-SS는 더 약한 학생 모델을 사용한 UKD-US를 능가함을 확인하여, 이 방법이 더 높은 학생 능력에서 유의미한 이점을 얻음을 입증한다.
• 정성적 분석 결과 UKD는 의미적으로 풍부한 콘텐츠를 가진 복잡한 쿼리, 예를 들어 이미지-텍스트 간 검색에서도 관련 결과를 효과적으로 검색함을 보였다.