[논문 리뷰] Supervised Domain Adaptation: Were we doing Graph Embedding all along?

Lukas Hedegaard, Omar Ali Sheikh-Omar외 1명|arXiv (Cornell University)|2020. 04. 23.

Domain Adaptation and Few-Shot Learning인용 수 1

한 줄 요약

이 논문은 내재 그래프와 페널티 그래프의 구조적 구성요소로 도메인 레이블을 모델링하여 지도 학습 기반 도메인 적응(DA)을 그래프 임bedding 문제로 재정의한다. 다양한 그래프 구조를 통합하여 소스 및 타겟 도메인을 정렬하는 일반적인 DA 프레임워크인 DAGE를 제안하며, Office31 및 MNIST-USPS에서 재현 가능성과 일반화 평가 향상을 위한 더 엄격한 평가 프로토콜을 도입한다.

ABSTRACT

The performance of machine learning models tends to suffer when the distributions of the training and test data differ. Domain Adaptation is the process of closing the distribution gap between datasets. In this paper, we show that existing Domain Adaptation methods can be formulated as Graph Embedding methods in which the domain labels of samples coming from the source and target domains are incorporated into the structure of the intrinsic and penalty graphs used for the embedding. To this end, we define the underlying intrinsic and penalty graphs for three state-of-the-art supervised domain adaptation methods. In addition, we propose the Domain Adaptation via Graph Embedding (DAGE) method as a general solution for supervised Domain Adaptation, that can be combined with various graph structures for encoding pair-wise relationships between source and target domain data. Moreover, we highlight some generalisation and reproducibility issues related to the experimental setup commonly used to evaluate the performance of Domain Adaptation methods. We propose a new evaluation setup for more accurately assessing and comparing different supervised DA methods, and report experiments on the standard benchmark datasets Office31 and MNIST-USPS.

연구 동기 및 목표

• 학습 데이터와 테스트 데이터 분포가 다를 경우 기계 학습 모델의 성능 저하 문제를 해결한다.
• 기존의 지도 학습 기반 도메인 적응 방법들을 통합된 그래프 임베딩 프레임워크로 조율한다.
• 소스 및 타겟 도메인 샘플 간의 관계를 모델링하기 위해 그래프 구조를 활용하는 일반 목적의 도메인 적응 방법인 DAGE를 개발한다.
• 기존의 도메인 적응 평가 설정에서 흔히 발생하는 재현 가능성 및 일반화 평가 문제를 식별하고 해결한다.
• Office31 및 MNIST-USPS에서 DA 방법 간 공정하고 정확한 비교를 가능하게 하는 새로운 평가 프로토콜을 제안한다.

제안 방법

• 내재 그래프와 페널티 그래프의 구조에 도메인 레이블을 통합하여 기존 최고 성능의 지도 학습 기반 DA 방법들을 그래프 임베딩 문제로 재구성한다.
• 세 가지 주요 DA 방법에 대해 내재 그래프와 페널티 그래프의 기초 구조를 정의하여 통합 이론적 프레임워크를 수립한다.
• DAGE(Domain Adaptation via Graph Embedding)를 제안하며, 소스 및 타겟 도메인 샘플 간의 쌍별 관계를 모델링하기 위해 다양한 그래프 구조를 통합하는 일반화 가능한 방법을 제공한다.
• 이전 연구에서 흔히 사용된 실험 설정의 결함를 해결하여 재현 가능성을 향상시키는 새로운 평가 설정을 설계한다.
• 표준 벤치마크 데이터셋인 Office31 및 MNIST-USPS를 활용하여 제안된 방법과 평가 프로토콜을 검증한다.
• 도메인 레이블을 그래프 구축 과정에 구조적 제약 조건으로 통합하여 도메인 간 특징 정렬을 이끌어내는 데 기여한다.

실험 결과

연구 질문

• RQ1 기존의 지도 학습 기반 도메인 적응 방법들은 그래프 임베딩 프레임워크 아래에서 통합될 수 있는가?
• RQ2 내재 그래프와 페널티 그래프의 구조에 도메인 레이블을 효과적으로 통합하여 특징 정렬을 향상시킬 수 있는가?
• RQ3 더 엄격한 평가 프로토콜 하에서 제안된 DAGE 방법의 성능은 최첨단 DA 방법들과 비교해 어떻게 되는가?
• RQ4 현재 도메인 적응 연구에서의 평가 설정은 재현 가능성과 일반화 평가를 어느 정도 손상시키는가?
• RQ5 통합된 그래프 기반 프레임워크는 도메인 적응 방법의 해석 가능성과 효과성을 향상시킬 수 있는가?

주요 결과

• 기존의 지도 학습 기반 도메인 적응 방법들은 도메인 레이블이 내재 그래프와 페널티 그래프의 구조에 통합된 그래프 임베딩 기법으로 엄밀히 해석될 수 있다.
• 적절한 그래프 구조와 함께 사용될 경우 제안된 DAGE 방법은 Office31 및 MNIST-USPS에서 경쟁력 있는 성능을 달성하여 그래프 기반 프레임워크의 효과성을 입증한다.
• 새로운 평가 설정은 이전 실험 설정에서 심각한 재현 가능성 문제를 드러내었으며, 특히 데이터 분할 및 하이퍼파rameter 선택 측면에서 문제가 있었다.
• 연구는 표준 평가 프로토콜이 일관성 없거나 재현 불가능한 설정으로 인해 성능 추정치가 과도하게 낙관적으로 나타나는 경향이 있음을 보여준다.
• 도메인 레이블을 그래프 구조에 통합함으로써 도메인 간 더 강력하고 해석 가능한 특징 정렬이 가능해진다.
• Office31 및 MNIST-USPS에서의 실험 결과는 제안된 프레임워크가 일반화 성능을 향상시키며 향후 DA 연구를 위한 더 신뢰할 수 있는 기준이 될 수 있음을 확인한다.