[논문 리뷰] Gap Minimization for Knowledge Sharing and Transfer

Boyu Wang, Jorge M. Méndez외 6명|arXiv (Cornell University)|2022. 01. 26.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 전이 학습과 다중작업 학습에서 데이터 및 알고리즘에 따라 결정되는 작업 유사도의 새로운 측정법으로 성능 간격을 도입하며, 이를 일반화 경계를 더욱 날카롭게 만들 수 있는 정규화자로 프레임워크화한다. 저자들은 성능 간격 최소화를 통합 원칙으로 제안하며, 이는 전이 학습에 적합한 gapBoost와 표현 학습에 적합한 gapMTNN라는 두 알고리즘을 통해 구현된다. 이 두 알고리즘은 PACS, Office-31, Office-Home와 같은 표준 벤치마크에서 기존 베이스라인을 모두 능가한다.

ABSTRACT

Learning from multiple related tasks by knowledge sharing and transfer has become increasingly relevant over the last two decades. In order to successfully transfer information from one task to another, it is critical to understand the similarities and differences between the domains. In this paper, we introduce the notion of \emph{performance gap}, an intuitive and novel measure of the distance between learning tasks. Unlike existing measures which are used as tools to bound the difference of expected risks between tasks (e.g., $\mathcal{H}$-divergence or discrepancy distance), we theoretically show that the performance gap can be viewed as a data- and algorithm-dependent regularizer, which controls the model complexity and leads to finer guarantees. More importantly, it also provides new insights and motivates a novel principle for designing strategies for knowledge sharing and transfer: gap minimization. We instantiate this principle with two algorithms: 1. gapBoost, a novel and principled boosting algorithm that explicitly minimizes the performance gap between source and target domains for transfer learning; and 2. gapMTNN, a representation learning algorithm that reformulates gap minimization as semantic conditional matching for multitask learning. Our extensive evaluation on both transfer learning and multitask learning benchmark data sets shows that our methods outperform existing baselines.

연구 동기 및 목표

• 전이 학습과 다중작업 학습에서 레이블 데이터를 활용하는 효과적인 작업 유사도 측정법의 부족을 해결하기 위해.
• 모델 복잡도와 일반화 오차를 작업 분산과 연결하는 통합 이론적 프레임워크를 개발하기 위해.
• 성능 간격을 최소화하는 데 기반한 새로운 지식 공유 전략을 동기화하기 위해.
• 성능 간격을 데이터 및 알고리즘에 따라 결정되는 정규화자로 간주함으로써 더 날카운 일반화 경계를 제공하기 위해.
• 성능 간격을 명시적으로 최소화하는 새로운 알고리즘 gapBoost와 gapMTNN를 설계하고 평가하기 위해.

제안 방법

• 성능 간격을 작업 간 분산의 측정법으로 정의하며, 이는 작업 간 모델 성능의 기대 차이로 정의된다.
• 이론적으로 성능 간격이 데이터 및 알고리즘에 따라 결정되는 정규화자로 작용하며, 기존 측정법보다 더 날카운 일반화 경계를 이끌어낸다.
• 성능 간격 최소화를 지식 공유 및 전이의 통합 원칙으로 제안하며, 이는 전이 학습과 다중작업 학습 모두에 적용 가능하다.
• 소스 도메인과 타겟 도메인 간 성능 간격을 명시적으로 최소화하는 부스팅 알고리즘 gapBoost를 개발한다.
• 대상 작업 간 의미적 조건부 매칭을 재구성함으로써 성능 간격 최소화를 표현 학습 모델 gapMTNN로 설계한다.
• 알고리즘 안정성 분 析을 통해 제안된 방법의 일반화 성질을 정당화하며, 성능 간격과 국경선 정렬 항목을 포함한 손실 함수를 활용한다.

실험 결과

연구 질문

• RQ1 레이블 데이터를 활용하여 지식 전이를 향상시키는 방식으로 작업 유사도를 어떻게 측정할 수 있는가?
• RQ2 성능 간격이 전이 학습과 다중작업 학습에서 더 날카운 일반화 경계를 이끌어내는 정규화자로 기능할 수 있는가?
• RQ3 모델 복잡도, 일반화 오차, 성능 간격 간의 이론적 관계는 무엇인가?
• RQ4 성능 간격 최소화는 지식 공유를 위한 실용적 알고리즘 원칙으로 어떻게 구현될 수 있는가?
• RQ5 성능 간격 최소화를 기반으로 한 알고리즘이 전이 학습 및 다중작업 학습 환경에서 기존 베이스라인을 능가하는가?

주요 결과

• 이론적으로 성능 간격이 데이터 및 알고리즘에 따라 결정되는 정규화자로 작용하며, 기존 측정법인 H-분산보다 일반화 경계를 향상시킨다.
• gapBoost는 PACS, Office-31, Office-Home와 같은 전이 학습 벤치마크에서 최신 기준 성능을 달성하며, 기존 베이스라인 대비 뚜렷한 정확도 향상을 보인다.
• gapMTNN은 성능 간격 최소화에 따라 유도되는 의미적 조건부 매칭을 통해 표현을 효과적으로 정렬함으로써, 기존 다중작업 학습 방법을 능가한다.
• 제안된 방법은 다양한 데이터셋에서 일관되게 일반화 성능을 향상시키며, 모든 평가된 데이터 분할(10%, 15%, 20% 훈련 데이터)에서 개선 효과를 관찰할 수 있다.
• 실증 결과에 따르면 성능 간격 최소화는 특히 레이블 정보가 존재할 경우 모델의 안정성과 전이 가능성 향상에 기여한다.
• 이 프레임워크에서 워셔스타인 거리의 유사도 측정법 사용은 효과적인 도메인 정렬을 가능하게 하며, 적대적 훈련을 통해 효율적으로 거리를 근사한다.