[논문 리뷰] Domain-Invariant Projection Learning for Zero-Shot Recognition

An Zhao, Mingyu Ding외 4명|arXiv (Cornell University)|2018. 10. 19.

Domain Adaptation and Few-Shot Learning인용 수 41

한 줄 요약

도메인 불변 투영 학습(DIPL)을 제안하여, 순방향/역방향 투영을 도메인 불변의 자기재구성 작업 및 슈퍼클래스 기반 도메인 정렬과 결합하고, 새로운 반복 해를 통해 최적화합니다. 표준, 순수, 일반화된 ZSL 설정 전반에서 최첨단 성능을 달성합니다.

ABSTRACT

Zero-shot learning (ZSL) aims to recognize unseen object classes without any training samples, which can be regarded as a form of transfer learning from seen classes to unseen ones. This is made possible by learning a projection between a feature space and a semantic space (e.g. attribute space). Key to ZSL is thus to learn a projection function that is robust against the often large domain gap between the seen and unseen classes. In this paper, we propose a novel ZSL model termed domain-invariant projection learning (DIPL). Our model has two novel components: (1) A domain-invariant feature self-reconstruction task is introduced to the seen/unseen class data, resulting in a simple linear formulation that casts ZSL into a min-min optimization problem. Solving the problem is non-trivial, and a novel iterative algorithm is formulated as the solver, with rigorous theoretic algorithm analysis provided. (2) To further align the two domains via the learned projection, shared semantic structure among seen and unseen classes is explored via forming superclasses in the semantic space. Extensive experiments show that our model outperforms the state-of-the-art alternatives by significant margins.

연구 동기 및 목표

• 관찰된 클래스와 보지 않은(unseen) 클래스 간의 큰 도메인 차이로 제로샷 인식을 촉진한다.
• 도메인 시프트를 최소화하는 특징 공간과 시맨틱 공간 사이의 강력한 투영을 학습한다.
• 도메인 불변 특징 자기재구성 작업을 도입하여 min-min 최적화 프레임워크를 가능하게 한다.
• 시맨틱 공간에서 공유되는 슈퍼클래스를 활용하여 관찰된 도메인과 비관찰 도메인을 정렬한다.
• 이론적 분석과 광범위한 실험을 포함한 확장 가능한 트랜덕티브 학습 접근법을 제공한다.

제안 방법

• Forward projection W^T x -> y 와 reverse projection x -> W y 를 공유 정규화항과 재구성 손실과 함께 사용하는 min-min 최적화 문제로 ZSL 을 형식화한다.
• 도메인 불변 시각 특징 자기재구성 작업을 도입하여 특징 표현과 시맨틱 표현 간의 양방향 일관성을 강제한다.
• 표시되지 않은 클래스 프로토타입에 대해 min_j objective 로 미정의 테스트 인스턴스를 최적화하는 트랜덕티브 학습을 적용한다.
• 시맨틱 공간에서 k-평균 클러스터링으로 슈퍼클래스를 생성하여 보인/보이지 않는 클래스 간 구조를 공유하고 이 슈퍼클래스를 통해 도메인을 정렬한다.
• 결과로 도출된 Sylvester 방정식 A^(t) W^(t+1) + W^(t+1) B^(t) = C^(t) 를 반복적으로 해결하며, eta, A, B, C 를 업데이트하는 알고리즘과 효율적 해를 위한 Bartels-Stewart 를 사용한다.
• 수렴성 분석을 제공하고 각 반복의 선형 규모 증가와 빠른 수렴(≤5 반복)을 보이는 시간 복잡성을 논의한다.
• 다중 단계에서의 DIPL 을 ZSL 에 슈퍼클래스로 확장하여 프로토타입을 r 그룹으로 클러스터링하고 원래 시맨틱 프로토타입에 대한 미세 조정 전에 슈퍼클래스 구조를 사용하여 예측을 개선한다.

실험 결과

연구 질문

• RQ1 보인(class)과 보이지 않는(unseen) 클래스 간의 도메인 차이를 제로샷 인식에서 어떻게 효과적으로 줄일 수 있는가?
• RQ2 전방향 및 역방향 투영을 강제하는 것이 보지 못한 클래스에 대한 일반화 능력을 향상시키는가?
• RQ3 트랜덕티브 학습과 공유 시맨틱 슈퍼클래스가 기존 방법들보다 보인/보이지 않는 도메인을 보다 효과적으로 정렬할 수 있는가?
• RQ4 제안된 min-min 최적화 해의 수렴 행동과 확장성은 어떠한가?
• RQ5 DIPL 프레임워크가 슈퍼클래스로 확장된 ZSL에서 대규모 데이터셋에서도 성능을 향상시키는가?

주요 결과

• DIPL 은 표준, 순수, 일반화된 ZSL 설정에서 다섯 개 벤치마크 데이터셋에 걸쳐 일관되게 최첨단 결과를 달성한다.
• 도메인 불변 자기재구성 및 슈퍼클래스 기반 도메인 정렬의 조합은 강력한 기준선 대비 상당한 개선을 이끌며, 중간 규모 데이터셋에서 큰 이점을 제공한다.
• min-min 목적 함수에 대한 제시된 반복 해는 빠르게 수렴(≤5 반복)하여 도메인 차이를 상한 해에 가까운 해로 축소한다.
• 슈퍼클래스가 도입된 DIPL 은 unseen-클래스 샘플이 슈퍼클래스 수준에서 ‘보임’ 으로 전환되고 시맨틱 프로토타입 수준의 정제가 안내되도록 하여 성능을 더 향상시킨다.
• 대규모 ImNet 에서 DIPL 은 SAE 대비 현저한 개선을 보여 대형 데이터에 대한 확장성을 입증한다.