[논문 리뷰] A Recent Survey of Heterogeneous Transfer Learning

Runxue Bao, Yiming Sun외 5명|arXiv (Cornell University)|2023. 10. 12.

Domain Adaptation and Few-Shot Learning인용 수 4

한 줄 요약

이 논문은 2017년 이후의 최근 발전을 다루며 이질적 전이 학습(HTL)에 대한 종합적이고 최신의 종합 조사 보고서를 제시한다. 데이터 기반 및 모델 기반 HTL 기법을 체계적으로 검토하며, 사전 훈련된 모델과 다중모态 학습의 역할을 강조하고, 비지도 전이, 교차 도메인 지식 정제, 해석 가능성 분야에서의 핵심 연구 격차를 규명하여 이 변화하는 분야에서의 향후 연구를 위한 비전도 제시한다.

ABSTRACT

The application of transfer learning, leveraging knowledge from source domains to enhance model performance in a target domain, has significantly grown, supporting diverse real-world applications. Its success often relies on shared knowledge between domains, typically required in these methodologies. Commonly, methods assume identical feature and label spaces in both domains, known as homogeneous transfer learning. However, this is often impractical as source and target domains usually differ in these spaces, making precise data matching challenging and costly. Consequently, heterogeneous transfer learning (HTL), which addresses these disparities, has become a vital strategy in various tasks. In this paper, we offer an extensive review of over 60 HTL methods, covering both data-based and model-based approaches. We describe the key assumptions and algorithms of these methods and systematically categorize them into instance-based, feature representation-based, parameter regularization, and parameter tuning techniques. Additionally, we explore applications in natural language processing, computer vision, multimodal learning, and biomedicine, aiming to deepen understanding and stimulate further research in these areas. Our paper includes recent advancements in HTL, such as the introduction of transformer-based models and multimodal learning techniques, ensuring the review captures the latest developments in the field. We identify key limitations in current HTL studies and offer systematic guidance for future research, highlighting areas needing further exploration and suggesting potential directions for advancing the field.

연구 동기 및 목표

• 2017년 이후 개발된 이질적 전이 학습(HTL) 방법에 대한 종합적이고 최신의 리뷰를 제공하여, 주요 발전 이전의 이전 조사들이 다루지 못한 한계를 보완하고자 한다.
• 이질적 도메인을 다루는 데서 기존의 동종 전이 학습이 저해되는 다양한 특성 공간, 레이블 공간, 데이터 분포의 과제를 분석하고자 한다.
• 변환기(예: BERT, GPT)와 같은 현대적 아키텍처 및 대규모 사전 훈련된 모델이 이질적 도메인 간 효과적인 지식 전이를 가능하게 하는 방식을 검토하고자 한다.
• 비지도 HTL, 교차 도메인 지식 정제, 모델의 해석 가능성 분야에서의 핵심 연구 격차를 규명하고, 특히 고위험 응용 분야에서의 중요성을 강조하고자 한다.
• 다중모달 학습, 효율적인 미세조정, 강건하고 해석 가능한 HTL 프레임워크 등의 가능성 있는 방향을 제시하여 향후 연구를 이끌고자 한다.

제안 방법

• HTL 방법을 데이터 기반 및 모델 기반 파라다임으로 분류하기 위해 체계적이고 분류 기반의 접근 방식을 채택하여 도메인 이질성에 대응하는 메커니즘을 강조한다.
• 특성 공간이 다를 경우에도 특성 공간 변환, 분포 정렬 또는 인스턴스 가중치를 통한 소스 및 타겟 도메인 간 정렬을 가능하게 하는 데이터 기반 방법을 검토한다.
• 공유 표현, 주의 메커니즘 또는 다중모달 환경에서의 교차 주의를 포함한 아키텍처 적응을 통한 지식 전이를 수행하는 모델 기반 방법을 분석한다.
• 사전 훈련된 모델—특히 대규모 언어 모델—이 HTL의 기초 지식 소스로서 통합되는 방식을 분석하며, 패러다임 전환을 가능하게 하는 제로샷 또는 소수 샘플 적응을 가능하게 한다.
• 대비 학습 또는 교차 주의를 사용하여 다양한 모odal(예: 텍스트, 이미지, 오디오) 간 표현을 통합하는 다중모달 HTL 기법을 검토하여 교차 도메인 전이를 가능하게 한다.
• HTL에서 지식 정제의 평가를 수행하며, 도메인 불일치로 인한 한계와 부정적 전이 위험을 강조하면서도, 새로운 교차 도메인 정제 기법의 잠재력을 제시한다.

실험 결과

연구 질문

• RQ1 2017년 이후 트랜스포머 기반 모델과 대규모 기초 모델의 발전이 이질적 전이 학습의 환경을 어떻게 변화시켰는가?
• RQ2 이질적 도메인을 다루는 데서 데이터 기반 및 모델 기반 접근 방식 간의 핵심 방법론적 차이점과 한계는 무엇인가?
• RQ3 다중모달 학습과 교차 주의 메커니즘은 HTL에서 다양한 데이터 모달 간 지식 전이에 어떻게 기여하는가?
• RQ4 왜 지식 정제 기법은 이질적 환경에서는 효과적이지 않은가? 그리고 교차 도메인 지식 전이에서의 한계를 극복할 수 있는 새로운 기법은 무엇인가?
• RQ5 이질적 전이 학습 시스템에서의 해석 가능성 향상과 부정적 전이 감소에 있어 핵심 과제와 기회는 무엇인가?

주요 결과

• 최근 HTL의 발전은 대규모 사전 훈련된 모델에 의해 주로 이뤄지고 있으며, 이는 임의의 작업에 관계없이 강력한 초기화를 제공하고 미세조정을 통해 훈련 비용을 크게 감소시킨다.
• 다중모달 HTL은 특히 시각 질문 응답 및 교차 모달 검색과 같은 작업에서 주목할 만한 파라다임으로 부상하였으며, 주의 메커니즘을 통해 다양한 유형의 데이터를 정렬할 수 있는 능력 덕분이다.
• 소스 도메인과 타겟 도메인이 작업이나 데이터 구조에서 다를 경우 지식 정제 기법은 여전히 효과적이지 않다. 이는 입력-출력 공간의 정렬을 전제로 하기 때문에, 부정적 전이 위험이 존재한다.
• 해석 가능성은 HTL에서 중요한 분야이지만 아직 개발이 부족한 분야이며, 전달된 표현에서 복잡하고 직관적이지 않은 상호작용이 발생하여 고위험 분야에서 모델 디버깅과 신뢰도를 저해한다.
• 다시 말해, 비지도 및 약한 지도 학습 기반 HTL는 여전히 탐색이 부족한 분야이며, 풍부한 소스 데이터와 부족한 레이블이 있는 타겟 데이터 간 격차를 메우기 위한 향후 연구의 주요 전초 분야이다.
• 이 조사 보고서는 HTL가 데이터 부족 상황에서 실제 적용에 필수적임을 결론내지만, 널리 보급되기 위해서는 확장 가능하고 강건하며 해석 가능한 프레임워크가 여전히 필요로 한다고 결론을 내린다.