[논문 리뷰] Few-Shot Adversarial Domain Adaptation

Saeid Motiian, Quinn Jones외 2명|arXiv (Cornell University)|2017. 11. 05.

Adversarial Robustness in Machine Learning참고 문헌 47인용 수 205

한 줄 요약

FADA는 도메인-클래스 판별기를 갖춘 네 그룹 샘플 쌍 적대적 설정을 사용하여 매우 적은 수의 라벨링된 대상 샘플에서 감독 도메인 적응을 수행하고 의미적 정렬과 도메인 혼동을 달성한다.

ABSTRACT

This work provides a framework for addressing the problem of supervised domain adaptation with deep models. The main idea is to exploit adversarial learning to learn an embedded subspace that simultaneously maximizes the confusion between two domains while semantically aligning their embedding. The supervised setting becomes attractive especially when there are only a few target data samples that need to be labeled. In this few-shot learning scenario, alignment and separation of semantic probability distributions is difficult because of the lack of data. We found that by carefully designing a training scheme whereby the typical binary adversarial discriminator is augmented to distinguish between four different classes, it is possible to effectively address the supervised adaptation problem. In addition, the approach has a high speed of adaptation, i.e. it requires an extremely low number of labeled target training samples, even one per category can be effective. We then extensively compare this approach to the state of the art in domain adaptation in two experiments: one using datasets for handwritten digit recognition, and one using datasets for visual object recognition.

연구 동기 및 목표

• 딥 시각 인식 작업에서 대상 라벨이 희소할 때 도메인 적응의 필요성과 동기를 제시한다.
• 의미적 쌍 정보를 활용한 적대적 학습을 이용한 학습 스키마를 개발한다.
• 도메인 및 클래스를 쌍 그룹에 인코딩하여 도메인 혼동과 의미적 정렬을 촉진한다.
• 매 클래스당 한 개의 샘플과 같이 매우 적은 수의 라벨링된 대상 샘플이 소스 단독 베이스라인에 비해 상당한 이점을 낳을 수 있음을 입증한다.

제안 방법

• 도메인 및 클래스 관계를 인코딩하는 샘플 쌍의 네 그룹을 만든다(같은 소스-같은 클래스, 소스-타깃-같은 클래스, 소스-다른 클래스, 소스-타깃-다른 클래스).
• 이 네 그룹으로 샘플 쌍을 분류하도록 다중 클래스 도메인-클래스 판별기(DCD)를 훈련시킨다.
• 일부 그룹을 구분하지 못하도록 DCD를 혼동시키기 위해 특성 추출기 g를 업데이트하는 적대적 목표를 사용한다(도메인 혼동과 의미적 정렬 촉진).
• 소스/타깃 특성 추출기(g_s, g_t)에 대한 가중치 공유 또는 비가중치 공유 스킴을 채택하고, 분류를 위한 h를 학습하며, 분류 손실과 혼동 손실 사이의 균형 항 gamma를 둔다.
• 수렴에 도달할 때까지 반복적으로 DCD를 훈련시키고(g를 고정), 그다음 g/h를 훈련시키며(DCD를 고정) 수렴에 도달한다.
• MNIST-USPS-SVHN 및 Office 데이터셋에서 감독 SDA 및 다양한 UDA 베이스라인과 비교 평가한다.

실험 결과

연구 질문

• RQ1 적대적 학습을 사용할 때 클래스당 매우 적은 수의 라벨링된 대상 샘플이 효과적인 감독 도메인 적응을 지원할 수 있는가?
• RQ2 쌍 기반 샘플링(네 그룹 DCD)에서 도메인 및 클래스를 인코딩하는 것이 순수한 도메인 혼동을 넘어서 의미적 정렬을 향상시키는가?
• RQ3 매우 작은 대상 데이터 구간에서 가중치 공유 대 비가중치 공유의 영향은 무엇인가?
• RQ4 숫자 및 객체 인식 벤치마크에서 FADA가 최첨단 SDA 및 UDA 방법에 비해 어떤 성능을 보이는가?
• RQ5 제안된 방법이 대상 라벨이 1에서 한두 개로 증가할 때도 빠른 이득을 보이는가?

주요 결과

• FADA는 MNIST-USPS-SVHN 작업에서 클래스당 1개의 라벨링된 대상 샘플만으로도 최첨단 SDA 및 여러 UDA 방법과 비교해 경쟁력 있는 또는 우수한 정확도를 달성한다.
• 클래스당 라벨링된 대상 샘플 수가 증가함에 따라 성능이 향상되어 상대적으로 작은 대상 데이터 예산으로도 높은 정확도를 달성한다.
• 소스와 타깃 특성 추출기 간의 가중치 공유는 정규화를 제공하고 희소 라벨 설정에서 비가중치 공유 대비 안정성을 향상시킨다.
• Office 데이터셋에서 FADA는 논문의 평가 프로토콜하에 여러 비지도 및 지도 베이스라인에 상응하거나 그보다 나은 정확도를 얻는다.
• 네 그룹 페어링 전략은 도메인 혼동과 의미적 클래스 정렬 모두를 가능하게 하여 도메인 불변성에만 집중하던 기존의 적대적 DA 접근법의 한계를 해결한다.