[논문 리뷰] Zero shot hashing

Shubham Pachori, Shanmuganathan Raman|arXiv (Cornell University)|2016. 10. 09.

Advanced Image and Video Retrieval Techniques참고 문헌 42인용 수 3

한 줄 요약

이 논문은 훈련 데이터에 존재하지 않는 새로운 객체 클래스의 이미지에 대해 레이블 없이 텍스트 기반 보조 신호만을 사용하여 해시 코드를 생성하는 제로샷 해싱 프레임워크를 제안한다. 비라벨링 문제로 간주하여 비지도 학습 방식으로 문제를 설정함으로써, 훈련 시 레이블 예제가 필요 없이도 미지 클래스에 대한 높은 정밀도의 레이블 예측을 달성한다.

ABSTRACT

This paper provides a framework to hash images containing instances of unknown object classes. In many object recognition problems, we might have access to huge amount of data. It may so happen that even this huge data doesn't cover the objects belonging to classes that we see in our day to day life. Zero shot learning exploits auxiliary information (also called as signatures) in order to predict the labels corresponding to unknown classes. In this work, we attempt to generate the hash codes for images belonging to unseen classes, information of which is available only through the textual corpus. We formulate this as an unsupervised hashing formulation as the exact labels are not available for the instances of unseen classes. We show that the proposed solution is able to generate hash codes which can predict labels corresponding to unseen classes with appreciably good precision.

연구 동기 및 목표

• 훈련 데이터에 포함되지 않은 새로운 객체 클래스의 이미지 해싱 문제를 해결하는 것.
• 제로샷 레이블 예측을 위한 보조 신호로 텍스트 기반 설명을 활용하는 것.
• 미지 클래스를 위한 압축된 이진 코드를 생성하는 비지도 학습 기반 해싱 프레임워크를 개발하는 것.
• 오직 의미 정보만을 사용하여 신규 객체 카테고리에 속하는 이미지의 정확한 검색 및 분류를 가능하게 하는 것.

제안 방법

• 미지 클래스에 대한 레이블이 없기 때문에 제로샷 이미지 해싱 문제를 비지도 학습 문제로 재정의한다.
• 텍스트 임베딩을 사용해 미지 클래스를 서명으로 표현하고, 이를 공통 임베딩 공간 내에서 이미지 특징과 정렬한다.
• 이미지 및 텍스트 임베딩 간의 의미적 유사성을 유지하면서도 이진 코드 제약 조건을 강제하는 해싱 손실 함수를 설계한다.
• 딥 네ural 네트워크를 사용하여 임베딩 및 해싱 함수를 엔드 투 엔드로 최적화한다.
• 유사한 이미지-텍스트 쌍은 가까이 모으고, 비유사한 쌍은 멀리 떼는 대비 학습 전략을 적용한다.
• 보기 힘든 클래스에 대한 추론을 가능하게 하기 위해, 본 모델은 본질적으로 본 클래스들만으로 훈련되며, 추론 시에는 오직 텍스트 기반 설명만을 사용한다.

실험 결과

연구 질문

• RQ1 훈련 시 레이블 예제가 전혀 없이도, 미지 객체 클래스의 이미지에 대해 효과적인 해시 코드를 생성할 수 있는가?
• RQ2 본 클래스에서 훈련된 해싱 모델이 오직 텍스트 기반 설명만을 사용하여, 미지 클래스로 일반화하는 데 얼마나 잘 성능을 내는가?
• RQ3 텍스트 서명의 사용이 제로샷 해싱에서 레이블 예측 정밀도를 얼마나 향상시키는가?
• RQ4 비지도 해싱 프레임워크가 제로샷 일반화를 위해 이미지 및 텍스트 표현 간의 의미 일致성을 유지할 수 있는가?

주요 결과

• 제안된 방법은 오직 텍스트 정보만을 사용하여도, 훈련 데이터에 없던 객체 클래스에 대해 높은 정밀도로 레이블을 예측하는 데 성공한다.
• 이 프레임워크는 텍스트에서 유도된 의미 임베딩을 활용하여, 미지 클래스의 이미지에 대해 해시 코드를 성공적으로 생성한다.
• 비지도 학습 방식을 통해, 훈련 데이터에 포함되지 않은 클래스에 대해 레이블 없이도 효과적인 제로샷 일반화가 가능하다.
• 이미지와 텍스트 표현 간의 의미적 유사성이 유지되며, 이는 정확한 제로샷 예측에 핵심적인 역할을 한다.
• 결과적으로, 오직 텍스트 서명만으로도 새로운 카테고리에 속하는 의미 있는 해시 코드를 생성할 수 있음을 입증한다.