[논문 리뷰] Unsupervised Embedding Learning via Invariant and Spreading Instance Feature

Mang Ye, Xu Zhang외 2명|arXiv (Cornell University)|2019. 04. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 52인용 수 80

한 줄 요약

이 논문은 Siamese 네트워크로 학습된 인스턴스-와이즈 소프트맥스 임베딩을 도입하여 레이블 없이도 데이터 증강 불변성과 인스턴스 확산 특성을 학습해 빠른 수렴과 보인/보이지 않는 카테고리에서 강력한 성능을 달성한다.

ABSTRACT

This paper studies the unsupervised embedding learning problem, which requires an effective similarity measurement between samples in low-dimensional embedding space. Motivated by the positive concentrated and negative separated properties observed from category-wise supervised learning, we propose to utilize the instance-wise supervision to approximate these properties, which aims at learning data augmentation invariant and instance spread-out features. To achieve this goal, we propose a novel instance based softmax embedding method, which directly optimizes the `real' instance features on top of the softmax function. It achieves significantly faster learning speed and higher accuracy than all existing methods. The proposed method performs well for both seen and unseen testing categories with cosine similarity. It also achieves competitive performance even without pre-trained network over samples from fine-grained categories.

연구 동기 및 목표

• 레이블을 활용하지 않고도 인스턴스-와이즈 감독을 활용해 구분 가능한 임베딩 학습을 모티브로 삼는다.
• 데이터 증강 하에서 이미지 인스턴스의 불변성을 보장하는 한편 서로 다른 인스턴스의 특징이 퍼져나가도록 한다.
• 임베딩 특징을 직접 최적화하는 효율적인 인스턴스-피처 기반 소프트맥스 형식을 개발한다.
• 보이는 카테고리와 보이지 않는 카테고리를 포함한 표준 비지도 임베딩 벤치마크에서 개선된 성능을 입증한다.

제안 방법

• 실제 인스턴스 피처를 직접 최적화하는 인스턴스 피처 기반 소프트맥스 임베딩을 제안한다(클래스 가중치나 메모리 뱅크가 아니라 피처를 직접 최적화).
• 각 인스턴스에 대해 임의의 데이터 증강을 사용하여 동일 인스턴스에 대한 증강 불변성을 강제한다.
• 작은 배치 접근 방식을 채택하여 m개의 인스턴스를 샘플링하고 이들을 시암 네트워크를 이용한 이진 분류 뷰로 처리한다.
• 온도 매개변수 τ 하에서 인스턴스 피처와 증강 피처의 내적을 바탕으로 확률 P(i|x̂i)와 P(i|xj)를 정의한다.
• 배치의 모든 인스턴스에 대해 P(i|x̂i)와 1−P(i|xj)를 결합한 음의 우도 J를 최소화하여 증강 불변성과 인스턴스 확산을 달성한다.
• P(i|x̂i)를 최대화하고 P(i|xj)를 최소화하는 것이 내부 인스턴스 불변성과 외부 인스턴스 분산을 촉진하는 이론적 근거를 제시한다.

실험 결과

연구 질문

• RQ1 인스턴스-와이즈 감독이 비지도 설정에서 카테고리 수준 레이블을 대체하여 구분 가능한 임베딩을 학습하게 할 수 있는가?
• RQ2 데이터 증강 불변성과 인스턴스 확산성이 보이고/보이지 않는 카테고리 모두의 임베딩 품질을 함께 향상시키는가?
• RQ3 소프트맥스 형식을 통해 인스턴스 피처를 직접 최적화하는 것이 가중치나 메모리 기반 방법보다 빠른 수렴과 더 나은 정확도를 보이는가?
• RQ4 학습된 임베딩이 세분화 데이터셋의 보이지 않는 카테고리에 얼마나 잘 일반화되는가?

주요 결과

• 비지도 임베딩 방법들 중 CIFAR-10 및 STL-10에서 kNN 및 선형 평가에서 최첨단 성능을 달성한다.
• 더 빠른 학습 속도와 더 높은 정확도에 조기에 도달하는 경향을 보이며(예: CIFAR-10 kNN 128-d 임베딩에서 83.6%), 경쟁자들보다 더 적은 에포크로 경쟁력 있는 정확도에 도달한다.
• 실제 인스턴스 피처를 직접 최적화하여 예시-클래퍼 및 메모리-뱅크 소프트맥스 변형보다 우수한 성능을 보인다.
• CUB200, Product, Car196 데이터셋에서 보이지 않는 카테고리에 대한 일반화가 강하고 R@K 및 NMI 지표에서 경쟁력 있거나 우수한 성과를 보인다.
• 데이터 증강(특히 RandomResizedCrop)과 하드 네거티브 전략의 중요성이 성능 향상에 기여함을 확인하는 소거 연구를 수행했다.