[논문 리뷰] Towards Inheritable Models for Open-Set Domain Adaptation

Jogendra Nath Kundu, Naveen Venkat외 3명|arXiv (Cornell University)|2020. 04. 09.

Domain Adaptation and Few-Shot Learning참고 문헌 7인용 수 16

한 줄 요약

이 논문은 원천 데이터에 접근할 수 없더라도 사전 훈련된 모델을 새로운 타겟 도메인에 적응시킬 수 있는 유전 가능 모델을 소개한다. 신뢰도 기반 지표를 통해 모델의 유전 가능성을 정량화함으로써 최적의 모델 선택이 가능해지고, 원천 데이터 없이도 오픈셋 도메인 적응에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

There has been a tremendous progress in Domain Adaptation (DA) for visual recognition tasks. Particularly, open-set DA has gained considerable attention wherein the target domain contains additional unseen categories. Existing open-set DA approaches demand access to a labeled source dataset along with unlabeled target instances. However, this reliance on co-existing source and target data is highly impractical in scenarios where data-sharing is restricted due to its proprietary nature or privacy concerns. Addressing this, we introduce a practical DA paradigm where a source-trained model is used to facilitate adaptation in the absence of the source dataset in future. To this end, we formalize knowledge inheritability as a novel concept and propose a simple yet effective solution to realize inheritable models suitable for the above practical paradigm. Further, we present an objective way to quantify inheritability to enable the selection of the most suitable source model for a given target domain, even in the absence of the source data. We provide theoretical insights followed by a thorough empirical evaluation demonstrating state-of-the-art open-set domain adaptation performance.

연구 동기 및 목표

• 오픈셋 도메인 적응에서 원천 및 타겟 데이터 세트가 동시에 존재해야 하는 실용적 제약을 해결하기 위해.
• 클라이언트가 원천 데이터에 접근할 수 없는 벤더-클라이언트 모델에서의 적응을 가능하게 하기 위해.
• 주어진 타겟 도메인에 가장 적합한 원천 모델을 선택하기 위해 지식의 유전 가능성을 측정 가능한 성질로 체계화하기 위해.
• 원천 데이터를 사용하지 않고도 오픈셋 도메인 적응에서 최신 기술 수준의 성능을 달성하는 방법을 개발하기 위해.

제안 방법

• 원천 데이터 없이도 미리 훈련된 모델이 새로운 타겟 도메인으로의 작업 지식 전이를 유지할 수 있는 '유전 가능 모델'의 개념을 도입한다.
• 분류기의 신뢰도에 기반한 지표인 모델 유전 가능성(I)을 제안하여 원천 모델이 타겟 도메인에 얼마나 잘 적응할 수 있는지 객관적으로 정량화한다.
• 높은 신뢰도가 공통 클래스로의 일반화 성능과 관련이 있다는 사실을 활용하여, 타겟 인스턴스의 의사 레이블링을 위한 신뢰도 기반 선택 전략을 적용한다.
• 두 단계의 적응 프로세스를 사용한다: 첫 번째로 클라이언트는 벤더가 제공한 사전 훈련된 가중치로 타겟 모델을 초기화하고, 두 번째로 미리 레이블링되지 않은 타겟 데이터와 프록시 기반 도메인 정렬 손실을 사용해 미세 조정한다.
• 사전 분류기 공간에서 공통 클래스와 알 수 없는 클래스 간의 분리 정도를 측정하기 위해 프록시 기반 거리(A→D 거리)를 적용하여 부정적 전이에 대한 강건성을 확보한다.
• 벤더가 단 한 번만 모델을 훈련하고, 이후 여러 클라이언트가 이를 재사용할 수 있도록 하는 훈련 파이프라인을 도입함으로써 총 훈련 비용을 감소시킨다.

실험 결과

연구 질문

• RQ1 원천 데이터에 접근할 수 없더라도 사전 훈련된 모델을 새로운 타겟 도메인에 효과적으로 적응시킬 수 있는가?
• RQ2 주어진 타겟 도메인에 대해 원천 모델의 유전 가능성을 객관적으로 측정할 수 있는 방법은 무엇인가?
• RQ3 의사 레이블링을 위한 신뢰도 기반 선택 전략이 오픈셋 도메인 적응의 성능 향상에 기여하는가?
• RQ4 제안된 방법이 벤더-클라이언트 모델에서 오픈셋 도메인 적응에서 최신 기술 수준의 성능을 달성하는가?

주요 결과

• 제안된 방법은 원천 데이터에 접근하지 않더라도 Office-31와 같은 표준 오픈셋 도메인 적응 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 모델 유전 가능성(I)은 적응 성능을 성공적으로 예측한다: I 값이 클수록 후속 정확도가 높아지며, 이는 신뢰할 수 있는 모델 선택을 가능하게 한다.
• Office-31 A→D 작업에서, 원천 데이터를 사용하지 않음에도 불구하고 STA와 같은 최신 기술 수준의 방법과 유사한 성능을 달성한다.
• 신뢰도 기반 의사 레이블링 전략은 초기화 시 타겟 샘플의 상위 15%에서 90% 이상의 정밀도를 달성하며, 적응 과정에서 점차 향상된다.
• 총 훈련 비용이 크게 감소한다: 제안된 방법(벤더 훈련 및 클라이언트 적응 포함)은 435초이며, 다수의 클라이언트가 원천 데이터를 사용하는 경우 1150초에 비해 약 62% 감소한다.
• t-SNE 시각화 결과는 유전 가능 모델이 학습한 특징 공간이 공통 클래스와 알 수 없는 클래스 간에 양호한 분리를 유지함을 확인하며, 부정적 전이를 최소화한다.