[논문 리뷰] Gradually Vanishing Bridge for Adversarial Domain Adaptation

Shuhao Cui, Shuhui Wang외 4명|arXiv (Cornell University)|2020. 03. 30.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 15

한 줄 요약

이 논문은 학습된 브릿지 벡터 γ의 범위를 점진적으로 최소화하여 특성 표현에서 도메인별 특징을 억제하는 새로운 도메인 적응 방법인 Gradient Vanishing Bridge(GVB)를 제안한다. γ를 0에 수렴하도록 강제함으로써 GVB는 도메인 정렬을 향상시키고 타겟 도메인에서의 오분류를 감소시켜 분포 이질성이 최소한인 표준 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

In unsupervised domain adaptation, rich domain-specific characteristics bring great challenge to learn domain-invariant representations. However, domain discrepancy is considered to be directly minimized in existing solutions, which is difficult to achieve in practice. Some methods alleviate the difficulty by explicitly modeling domain-invariant and domain-specific parts in the representations, but the adverse influence of the explicit construction lies in the residual domain-specific characteristics in the constructed domain-invariant representations. In this paper, we equip adversarial domain adaptation with Gradually Vanishing Bridge (GVB) mechanism on both generator and discriminator. On the generator, GVB could not only reduce the overall transfer difficulty, but also reduce the influence of the residual domain-specific characteristics in domain-invariant representations. On the discriminator, GVB contributes to enhance the discriminating ability, and balance the adversarial training process. Experiments on three challenging datasets show that our GVB methods outperform strong competitors, and cooperate well with other adversarial methods. The code is available at https://github.com/cuishuhao/GVB.

연구 동기 및 목표

• 브릿지 기반 도메인 적응 방법에서 잔류하는 도메인별 특징 문제를 해결하기 위해.
• 학습된 브릿지 벡터 γ 내의 도메인별 특징 영향을 줄여 특성 정렬을 향상시키기 위해.
• 소스 및 타겟 도메인 전반에서 γ의 총 범위를 최소화하여 노이즈 또는 어려운 예제를 억제하기 위해.
• 도메인 불변 및 도메인별 구성요소를 더 효과적으로 분리함으로써 도메인 일반화를 향상시키기 위해.
• 잔류하는 도메인 특징으로 인한 오분류를 줄임으로써 타겟 도메인의 분류 정확도를 향상시키기 위해.

제안 방법

• 모든 샘플에 대해 브릿지 벡터 γ_i의 L1 노름을 최소화하는 새로운 손실 함수 ℒ_G를 제안하여 γ_i가 0에 가까워지도록 유도한다.
• γ_i의 범위를 점진적으로 감소시켜 도메인별 정보를 억제하는 Gradient Vanishing Bridge(GVB) 메커니즘을 도입한다.
• G_*(x_i) = G_2(G_1(x_i)) - G_3(G_1(x_i))로 정의된 생성자 G_*에 GVB를 적용하여 도메인 불변 및 도메인별 특징을 분리한다.
• 표현 ri의 분포를 소스 및 타겟 도메인 간에 정렬하기 위해 적대적 훈련을 적용한다.
• G_1이 공유 특징을 학습하고, G_2와 G_3가 각각 도메인별 및 브릿지 구성요소를 모델링하는 삼중 스트림 생성자 아키텍처를 사용한다.
• 중간 도메인 외부의 점들을 어려운 예제 또는 노이즈 데이터로 간주하고, γ의 최소화에 초점을 맞춰 그로 인한 부정적 영향을 줄인다.

실험 결과

연구 질문

• RQ1 브릿지 벡터 γ 내의 도메인별 특징을 효과적으로 억제하여 도메인 정렬을 향상시킬 수 있는가?
• RQ2 γ의 범위가 도메인 불변 표현의 품질과 타겟 도메인 분류에 어떤 영향을 미치는가?
• RQ3 γ의 벡터 노름을 점진적으로 최소화하는 것이 적대적 도메인 적응에서 더 나은 일반화를 이끌 수 있는가?
• RQ4 GVB 메커니즘이 어려운 예제에 대해 기존의 브릿지 기반 방법보다 더 뛰어난 강건성을 보이는가?
• RQ5 γ의 범위를 줄임으로써 도메인 불변 및 도메인별 특징의 분리가 얼마나 향상되는가?

주요 결과

• 제안된 GVB 손실은 브릿지 벡터 γ의 범위를 크게 감소시켜 더 깔끔한 도메인 불변 표현을 이끈다.
• γ의 노름을 최소화함으로써 도메인별 특징의 영향을 억제하여 분류기 및 표현 학습에 대한 부정적 영향을 줄인다.
• 적응 후 더 많은 데이터 포인트가 중간 도메인 내부에 포함되어 정렬이 향상됨을 나타낸다.
• 중간 도메인 외부의 점들은 효과적으로 어려운 예제 또는 노이즈 데이터로 간주되며, γ 억제로 인해 그 영향이 감소한다.
• 실증 결과는 GVB가 기준 방법에 비해 타겟 도메인에서 더 낮은 오분류 확률을 제공함을 입증한다.
• 시각화 결과는 GVB가 특히 중간 도메인 공간에서 특성 분포 정렬을 향상시킨다는 것을 보여준다.