[논문 리뷰] Domain Adversarial Reinforcement Learning for Partial Domain Adaptation

Jin Chen, Xinxiao Wu외 2명|arXiv (Cornell University)|2019. 05. 10.

Domain Adaptation and Few-Shot Learning참고 문헌 25인용 수 4

한 줄 요약

이 논문은 도메인 적대적 강화학습(DARL)이라는 새로운 프레임워크를 제안한다. 이는 공통 클래스에서 자동으로 소스 인스턴스를 선택하고, 도메인 적대적 학습을 통해 도메인 간 차이를 줄이는 부분 도메인 적응을 위한 것이다. DARL는 인스턴스 선택과 도메인 불변 특징 학습을 동시에 최적화하여 최신 기술 수준(SOTA)의 성능을 달성하며, 도전적인 설정에서 평균적으로 기존 방법보다 최대 6.34% 향상된다.

ABSTRACT

Partial domain adaptation aims to transfer knowledge from a label-rich source domain to a label-scarce target domain which relaxes the fully shared label space assumption across different domains. In this more general and practical scenario, a major challenge is how to select source instances in the shared classes across different domains for positive transfer. To address this issue, we propose a Domain Adversarial Reinforcement Learning (DARL) framework to automatically select source instances in the shared classes for circumventing negative transfer as well as to simultaneously learn transferable features between domains by reducing the domain shift. Specifically, in this framework, we employ deep Q-learning to learn policies for an agent to make selection decisions by approximating the action-value function. Moreover, domain adversarial learning is introduced to learn domain-invariant features for the selected source instances by the agent and the target instances, and also to determine rewards for the agent based on how relevant the selected source instances are to the target domain. Experiments on several benchmark datasets demonstrate that the superior performance of our DARL method over existing state of the arts for partial domain adaptation.

연구 동기 및 목표

• 소스 도메인과 타겟 도메인 간 레이블 공간의 불일치로 인한 부정적 전이 문제를 해결하기 위해.
• 공통 클래스에서 소스 인스턴스 선택을 자동화하여 긍정적 지식 전이를 가능하게 하기 위해.
• 종합적으로 도메인 불변 특징 학습과 인스턴스 선택을 엔드 투 엔드 프레임워크를 통해 동시에 학습하기 위해.
• 타겟 도메인이 소스 도메인보다 레이블이 적은 실제 환경에서 일반화 능력과 강인성을 향상시키기 위해.

제안 방법

• 딥 Q-학습 에이전트는 특징 표현에서 유도된 추정 Q-값을 기반으로 공통 클래스에서 소스 인스턴스를 선택한다.
• 행동-가치 함수는 소스 인스턴스 특징을 입력으로 사용하는 딥 네ural 네트워크를 통해 근사된다.
• 도메인 적대적 학습 구성 요소는 선택된 인스턴스에서 도메인 간 차이를 최소화하기 위해 특징 추출기와 디스criminator를 훈련시킨다.
• 에이전트의 보상 신호는 도메인 디스criminator가 소스와 타겟을 구분하는 능력에서 유도되며, 이는 관련성이 높은 인스턴스로의 선택을 이끈다.
• 반복적인 최적화 과정을 통해 딥 Q-네트워크와 도메인 적대적 네트워크를 종합적으로 엔드 투 엔드 방식으로 훈련시킨다.
• 경험 재생과 $\epsilon$-탐욕적 탐색을 사용하여 훈련을 안정화시킨다.

실험 결과

연구 질문

• RQ1 강화학습이 허위 레이블에 의존하지 않고 부분 도메인 적응에서 소스 인스턴스 선택을 효과적으로 자동화할 수 있는가?
• RQ2 딥 Q-학습과 도메인 적대적 학습을 결합함으로써 도메인 간 특징 전이 가능성은 어떻게 향상되는가?
• RQ3 인스턴스 선택의 관련성 기반 보상 함수에서 임계값 $\tau$의 영향은 무엇인가?
• RQ4 다양한 도메인 이동 시나리오에서 DARL는 최신 기술 수준의 방법들과 정확도와 강인성 측면에서 어떻게 비교되는가?

주요 결과

• DARL는 Office+Caltech-10, Office-31, Caltech-Office 데이터셋에서 최신 기술 수준의 성능을 달성하며, 모든 전이 작업에서 기존 방법들을 능가한다.
• 도전적인 Caltech-Office 데이터셋에서 DARL는 SAN과 IWAN에 비해 평균적으로 각각 4.65%와 6.34% 높은 정확도를 기록한다.
• 제거 실험 결과, 딥 Q-학습을 제거할 경우 성능이 크게 떨어지며, 이는 효과적인 인스턴스 선택에서의 역할을 검증한다.
• 딥 Q-학습을 허위 레이블 기반 선택으로 대체할 경우 정확도가 낮아지며, 이는 이 작업에서 강화학습의 우수성을 입증한다.
• 프레임워크는 안정적으로 수렴하며, C256→W10 작업에서 테스트 오차가 훈련 반복 횟수에 따라 점차 감소한다.
• 최적의 임계값 $\tau$는 AlexNet의 경우 0.3, ResNet-50의 경우 0.1이며, 이보다 높거나 낮은 값에서는 성능이 떨어진다.