[논문 리뷰] Subsidiary Prototype Alignment for Universal Domain Adaptation

Jogendra Nath Kundu, Suvaansh Bhambri외 4명|arXiv (Cornell University)|2022. 10. 28.

Domain Adaptation and Few-Shot Learning인용 수 10

한 줄 요약

이 논문은 유니버설 도메인 어댑테이션(UniDA)을 위한 새로운 프레임워크인 서브시디어리 프로토타입 어라이언먼트(SPA)를 제안한다. 이 프레임워크는 보그 오브 뷰얼 워즈(BoW) 기반 표현 방식을 통해 중위수 시각적 프리미티브(워드-프로토타입)를 학습함으로써 부정적 전이를 완화한다. 격자로 뒤섞인 이미지 조각을 기반으로 한 자기지도 사전 작업을 도입하여 프로토타입 어라이언먼트를 강제함으로써, 공유된 시각적 프리미티브를 기반으로 타겟 특징의 클로즈드셋 어라이언먼트를 가능하게 하여, 최소한의 계산 부담으로 다양한 UniDA 및 오픈셋 DA 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Universal Domain Adaptation (UniDA) deals with the problem of knowledge transfer between two datasets with domain-shift as well as category-shift. The goal is to categorize unlabeled target samples, either into one of the "known" categories or into a single "unknown" category. A major problem in UniDA is negative transfer, i.e. misalignment of "known" and "unknown" classes. To this end, we first uncover an intriguing tradeoff between negative-transfer-risk and domain-invariance exhibited at different layers of a deep network. It turns out we can strike a balance between these two metrics at a mid-level layer. Towards designing an effective framework based on this insight, we draw motivation from Bag-of-visual-Words (BoW). Word-prototypes in a BoW-like representation of a mid-level layer would represent lower-level visual primitives that are likely to be unaffected by the category-shift in the high-level features. We develop modifications that encourage learning of word-prototypes followed by word-histogram based classification. Following this, subsidiary prototype-space alignment (SPA) can be seen as a closed-set alignment problem, thereby avoiding negative transfer. We realize this with a novel word-histogram-related pretext task to enable closed-set SPA, operating in conjunction with goal task UniDA. We demonstrate the efficacy of our approach on top of existing UniDA techniques, yielding state-of-the-art performance across three standard UniDA and Open-Set DA object recognition benchmarks.

연구 동기 및 목표

• 유니버설 도메인 어댑테이션(UniDA)에서 도메인 이동과 카테고리 이동이 함께 모델 성능을 악화시키는 부정적 전이 문제를 해결하기 위해.
• 모든 네트워크 레이어에서 부정적 전이 위험(NTR)과 도메인 불변성 점수(DIS) 사이의 트레이드오프를 해결하기 위해 중위수 레이어를 최적의 균형점으로 식별하기 위해.
• 하위 수준의 시각적 프리미티브(워드-프로토타입)가 알려진 클래스와 알려지지 않은 클래스 간에 공유되는 표현 공간을 설계하여 강건한 어라이언먼트를 가능하게 하기 위해.
• 격자로 뒤섞인 이미지 조각을 사용하여 서브시디어리 프로토타입 공간 어라이언먼트( SPA)를 강제하는 자기지도 사전 작업을 개발하여 특징 학습을 이끌기 위해.
• 최소한의 계산 비용으로 표준 UniDA 및 오픈셋 DA 벤치마크에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 중위수 특징에서 워드-프로토타입을 명시적으로 학습하고 워드 히스토GRAM 출력을 생성하기 위해 아키텍처 수정을 도입한다.
• 워드 히스토GRAM 수준에서 자기 엔트로피 손실을 최소화하여 흐트러짐을 유도함으로써 더 나은 내재된 클래스 구조 표현을 촉진한다.
• 새로운 사전 작업: 격자로 뒤섞인 이미지에 기여한 고유한 인스턴스 수를 분류하는 것으로, 이는 단어 수준의 비일치를 줄이기 위한 사전 지식으로 작용한다.
• 이 사전 작업을 통해 워드-프로토타입을 학습하고 이러한 프로토타입과의 클로즈드셋 어라이언먼트를 강제함으로써 부정적 전이를 방지한다.
• SPA 손실을 메인 UniDA 목표와 결합하여 라벨이 부여된 소스 데이터와 라벨이 없는 타겟 데이터를 모두 활용한 엔드 투 엔드 학습을 가능하게 한다.
• 고정된 엔트로피 임계값 ρ = log(|Cs|)/2를 사용하여 임계값 기반 엔트로피 분류기를 도입하여 알려진-알 수 없는 분류 성능을 평가한다.

실험 결과

연구 질문

• RQ1 딥 네트워크의 중위수 레이어가 부정적 전이 위험과 도메인 불변성을 균형 잡을 수 있는가? 즉, UniDA 적응에 최적의 위치가 될 수 있는가?
• RQ2 중위수 특징의 보그 오브 뷰얼 워즈(BoW) 유사 표현 방식이 UniDA에서 알려진 클래스와 알려지지 않은 클래스 간의 비일치를 줄일 수 있는가?
• RQ3 격자로 뒤섞인 이미지 조각을 기반으로 한 자기지도 사전 작업이 공유된 시각적 프리미티브(워드-프로토타입)의 학습을 효과적으로 이끌 수 있는가?
• RQ4 알 수 없는 클래스가 존재하는 상황에서, 클로즈드셋 어라이먼트 전략을 통한 서브시디어리 프로토타입 공간 어라이먼트(SPA)가 기존 UniDA 방법을 초월할 수 있는가?
• RQ5 BoW 기반 아키텍처 수정을 도입할 경우 최신 기술 수준의 성능 유지를 위해 얼마나 많은 계산 비용이 발생하는가?

주요 결과

• SPA는 Office-31 포함한 세 가지 표준 UniDA 및 오픈셋 DA 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 세 번의 실행 평균 정확도는 OS 기준 94.8%이며, OS* 기준 95.2%를 기록하였다.
• Office-31 데이터셋에서 A→W 96.1%, A→D 97.0%, D→W 96.2%, W→D 97.0%, D→A 96.0%, W→A 96.0%의 정확도를 기록하였으며, 시드 간 변동성이 매우 미미하였다.
• 제안된 사전 작업은 프로토타입 어라이먼트를 크게 향상시켜 단어 수준의 비일치를 감소시키고 워드 히스토그램 표현의 강건성을 향상시켰다.
• 계산 부담은 매우 미미하다: 추가 파라미터 약 200만 개와 MACS의 약간의 증가(4.120G에서 4.223G로)를 보였으며, 아키텍처 수정 자체로는 성능 향상이 거의 없었다.
• 모든 설정에서 강력한 베이스라인인 DCC(94.0% OS 대비 94.0% DCC), RTN, DANN, ATI-λ, OSBP, STA, InheriT를 모두 초월하였다.
• 제거 실험을 통해 아키텍처 수정과 SPA 사전 작업의 조합이 필수적임을 확인하였으며, 단독 수정만으로는 근소한 성능 향상에 그쳤다.