[논문 리뷰] Selective Transfer with Reinforced Transfer Network for Partial Domain Adaptation

Zhihong Chen, Chao Chen외 4명|arXiv (Cornell University)|2019. 05. 26.

Domain Adaptation and Few-Shot Learning참고 문헌 37인용 수 5

한 줄 요약

이 논문은 부분 도메인 적응(PDA)을 위한 강화 학습 기반 전이 네트워크(Reinforced Transfer Network, RTNet)를 제안한다. 이는 고수준 특징과 픽셀 수준 재구성 오차를 기반으로 이상치 소스 샘플을 선택적으로 필터링하기 위해 강화 학습을 사용한다. 재구성 오차를 목표 생성자에서 얻은 보상 신호로 활용하는 강화된 데이터 선택기(Reinforced Data Selector, RDS)를 통합함으로써, RTNet는 부정적 전이를 최소화하고 공유 레이블 공간 내에서의 정렬을 향상시켜 최신 기술 수준의 성능을 달성한다.

ABSTRACT

One crucial aspect of partial domain adaptation (PDA) is how to select the relevant source samples in the shared classes for knowledge transfer. Previous PDA methods tackle this problem by re-weighting the source samples based on their high-level information (deep features). However, since the domain shift between source and target domains, only using the deep features for sample selection is defective. We argue that it is more reasonable to additionally exploit the pixel-level information for PDA problem, as the appearance difference between outlier source classes and target classes is significantly large. In this paper, we propose a reinforced transfer network (RTNet), which utilizes both high-level and pixel-level information for PDA problem. Our RTNet is composed of a reinforced data selector (RDS) based on reinforcement learning (RL), which filters out the outlier source samples, and a domain adaptation model which minimizes the domain discrepancy in the shared label space. Specifically, in the RDS, we design a novel reward based on the reconstruct errors of selected source samples on the target generator, which introduces the pixel-level information to guide the learning of RDS. Besides, we develope a state containing high-level information, which used by the RDS for sample selection. The proposed RDS is a general module, which can be easily integrated into existing DA models to make them fit the PDA situation. Extensive experiments indicate that RTNet can achieve state-of-the-art performance for PDA tasks on several benchmark datasets.

연구 동기 및 목표

• 이상치 클래스에서 유래한 불일치하는 소스 샘플로 인한 부분 도메인 적응(PDA)에서의 부정적 전이 문제를 해결하기 위해.
• 고수준 딥 특징과 픽셀 수준 외관 정보를 융합하여 PDA에서의 샘플 선택을 향상시키기 위해.
• 다양한 도메인 적응 모델에 통합될 수 있는 일반화 가능한 엔드 투 엔드 프레임워크를 개발하기 위해.
• 적대적 판별기 의존 없이 부정적 전이를 완화함으로써, 비적대적 DA 방법과의 호환성을 확보하기 위해.

제안 방법

• 액터-크리틱 강화 학습을 통해 훈련된 강화된 데이터 선택기(RDS)가 각 소스 샘플을 유지할지 또는 제거할지 결정한다.
• RDS는 의사결정을 위한 심층 특징을 포함한 상태 벡터와, 선택된 샘플의 목표 생성자에서의 재구성 오차 기반 보상 신호를 사용한다.
• 픽셀 수준의 정보는 재구성 오차를 통해 통합되며, 이는 이상치 샘플일수록 목표 도메인 데이터와의 유사도가 낮아지므로 더 높아진다.
• RDS는 플러그인 모듈로 설계되어 CORAL 및 적대적 DA와 같은 기존 도메인 적응 모델에 통합될 수 있다.
• 보상 함수는 목표 도메인과 시각적으로 유사한 소스 샘플의 선택을 장려하여 공유 클래스 내에서 도메인 차이를 줄인다.
• 이 방법은 공유 레이블 공간 내에서 샘플 선택과 도메인 정렬을 동시에 최적화하여 부정적 전이를 최소화한다.

실험 결과

연구 질문

• RQ1 고수준 정보와 픽셀 수준 정보를 모두 활용함으로써 강화 학습이 부분 도메인 적응에서 관련 있는 소스 샘플을 효과적으로 선택하는 데 사용될 수 있는가?
• RQ2 목표 생성자에서의 재구성 오차를 통합할 경우, 단지 심층 특징에 의존하는 것보다 샘플 선택이 어떻게 향상되는가?
• RQ3 제안된 RDS 모듈은 비적대적 모델을 포함한 다양한 도메인 적응 모델에 일반화될 수 있는가?
• RQ4 이상치 클래스가 존재할 때, 이 방법은 부정적 전이를 어느 정도 감소시키는가?
• RQ5 레이블-이미지 불일치가 있는 노이즈 샘플(예: 잘못 레이블링된 이미지)이 존재하더라도 성능을 유지하는가, 즉 노이즈에 대해 강건한가?

주요 결과

• RTNet는 SVHN→MNIST 및 Office-31와 같은 여러 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.
• SVHN→MNIST5 작업에서, RTNet는 목표 도메인과 선택된 소스 샘플 간의 워샤르 거리(Wasserstein distance)를 전체 소스 샘플일 때 0.2574에서 0.1645로 감소시켜 더 나은 도메인 정렬을 나타낸다.
• 외관 차이가 큰 클래스(예: 5, 6, 8)에서 소스 샘플의 92%가 필터링되며, 외관이 유사한 이상치(예: 7, 9)의 경우 72%가 필터링된다.
• 공유 클래스에서는 평균적으로 8.2%의 샘플만 잘못 필터링되며, 관련 샘플을 유지하는 데 높은 정밀도를 보인다.
• A31→W31 작업에서, 이상치 클래스가 존재하지 않을 때조차 RTNet는 CORAL를 능가한다. 이는 노이즈가 있는 샘플(예: 잘못 레이블링된 이미지)을 효과적으로 필터링함을 시사한다.
• 사례 연구를 통해 RDS가 잘못 레이블링된 이미지(예: 마우스가 키보드로 레이블링된 경우)와 같은 레이블-이미지 불일치 노이즈 샘플을 성공적으로 식별하고 제거하는 것으로 확인되었다.