[논문 리뷰] On Localized Discrepancy for Domain Adaptation

Yuchen Zhang, Mingsheng Long외 2명|arXiv (Cornell University)|2020. 08. 14.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 4

한 줄 요약

이 논문은 국소화 이후 가설 공간을 제한하여 도메인 적응을 위한 국소화된 오차를 도입함으로써 더 날카운 일반화 경계를 이끌어낸다. 이 오차는 과대평가를 감소시키고 비대칭적 전이 어려움을 드러내며, 향상된 변형을 통해 더 빠른 표본 복잡도와 슈퍼 전이를 가능하게 한다.

ABSTRACT

We propose the discrepancy-based generalization theories for unsupervised domain adaptation. Previous theories introduced distribution discrepancies defined as the supremum over complete hypothesis space. The hypothesis space may contain hypotheses that lead to unnecessary overestimation of the risk bound. This paper studies the localized discrepancies defined on the hypothesis space after localization. First, we show that these discrepancies have desirable properties. They could be significantly smaller than the pervious discrepancies. Their values will be different if we exchange the two domains, thus can reveal asymmetric transfer difficulties. Next, we derive improved generalization bounds with these discrepancies. We show that the discrepancies could influence the rate of the sample complexity. Finally, we further extend the localized discrepancies for achieving super transfer and derive generalization bounds that could be even more sample-efficient on source domain.

연구 동기 및 목표

• 전통적인 오차 기반 도메인 적응 이론에서 전체 가설 공간에 대한 상한을 사용함으로써 발생하는 과대평가 문제를 해결한다.
• 일반화 경계를 향상시키고 보수성을 감소시키기 위해 오차에 대한 새로운 국소화 기법을 개발한다.
• 국소화된 오차가 원천 도메인과 타겟 도메인 간 비대칭적 전이 어려움을 드러내는지 조사한다.
• 표본 복잡도가 국소화된 오차 값에 의존하는 개선된 일반화 경계를 유도한다.
• 비지도 도메인 적응에서 슈퍼 전이—원천 도메인에서 타겟 도메인보다 더 빠른 수렴—이 이론적으로 달성 가능한 조건을 탐색한다.

제안 방법

• 실제 위험과 신뢰구간을 사용해 가설 공간을 국소화하여 $\tilde{\mathcal{H}}_{r^+}$ 및 $\tilde{\mathcal{H}}_{r^-}$ 라는 국소화된 가설 집합을 정의함으로써 국소화된 오차를 정의한다.
• 감도를 향상시키고 슈퍼 전이를 가능하게 하기 위해 $\gamma$-보팅된 국소화된 $\mathcal{H}\Delta\mathcal{H}$-오차를 도입한다.
• 실제 위험, 국소화된 오차, 통계적 오차 항을 포함한 일반화 경계(정리 13)를 유도하며, 이 경계는 $O(\cdot)^\gamma$ 속도를 가진다.
• VC 차원과 농도 부등식을 사용하여 높은 확률로 일반화 오차를 경계한다.
• 국소화된 $\gamma$-보팅된 오차가 작을 경우 원천 도메인의 표본 복잡도가 타겟보다 더 빠를 수 있음을 입증한다.
• 국소화 이후 가설 공간의 구조를 활용하여 기존 상한 기반 오차보다 더 날카운 경계를 확보한다.

실험 결과

연구 질문

• RQ1 국소화된 오차는 기존 오차 측정에서 내재된 과대평가를 상당히 감소시키는가?
• RQ2 원천 도메인과 타겟 도메인을 뒤바꿔도 국소화된 오차는 비대칭적 전이 어려움을 드러내는가?
• RQ3 국소화된 오차는 더 빠른 표본 복잡도 비율을 가진 개선된 일반화 경계를 이끌 수 있는가?
• RQ4 $\gamma$-보팅된 국소화된 오차가 비지도 도메인 적응에서 슈퍼 전이를 달성할 수 있는 조건은 무엇인가?
• RQ5 국소화된 오차를 기존 오차보다 사용할 이론적 정당성이 있는가?

주요 결과

• 국소화된 오차는 기존 오차보다 엄격히 작으며, 이로 인해 위험 경계의 과대평가가 감소한다.
• 원천 도메인과 타겟 도메인을 바꿀 경우 국소화된 오차 값이 달라지므로, 비대칭적 전이 어려움을 탐지할 수 있다.
• 국소화된 오차를 사용하여 유도된 일반화 경계는 표본 복잡도가 오차 값에 의존하며, 오차가 작을수록 더 빠른 수렴 비율을 보인다.
• $\gamma$-보팅된 국소화된 $\mathcal{H}\Delta\mathcal{H}$-오차는 슈퍼 전이를 가능하게 하며, 이는 원천 도메인의 일반화 속도가 타겟보다 더 빨라지는 것을 의미한다.
• 개선된 일반화 경계(정리 13)는 $O(\cdot)^\gamma$ 항을 포함하여, 오차가 작을수록 수렴 속도가 가속화됨을 보여준다.
• 이론적 프레임워크는 기존 가정(Ben-David 등, 2007) 하에서 오차 기반 경계를 사용하여 표본 복잡도 향상의 첫 번째 증명 가능한 이론적 근거를 제공한다.