[논문 리뷰] Bayesian Transfer Learning: An Overview of Probabilistic Graphical Models for Transfer Learning

Junyu Xuan, Jie Lü외 1명|arXiv (Cornell University)|2021. 09. 27.

Domain Adaptation and Few-Shot Learning참고 문헌 100인용 수 4

한 줄 요약

이 논문은 전이 학습을 위한 확률적 그래픽 모델(PGM)에 대한 종합적인 개요를 제공하며, 불확실성 모델링과 도메인 간 지식 전이를 가능하게 하기 위해 PGM의 활용을 제안한다. 기존의 PGM 기반 전이 학습 방법들을 공유되는 통계적 구조에 기반해 여섯 가지 범주로 체계화하고, 자연어 처리, 컴퓨터 비전, 추천 시스템 등 다양한 분야에서의 응용을 제시하며, PGM의 해석 가능성과 이질적 데이터 및 저데이터 상황에서의 효과성을 강조한다.

ABSTRACT

Transfer learning where the behavior of extracting transferable knowledge from the source domain(s) and reusing this knowledge to target domain has become a research area of great interest in the field of artificial intelligence. Probabilistic graphical models (PGMs) have been recognized as a powerful tool for modeling complex systems with many advantages, e.g., the ability to handle uncertainty and possessing good interpretability. Considering the success of these two aforementioned research areas, it seems natural to apply PGMs to transfer learning. However, although there are already some excellent PGMs specific to transfer learning in the literature, the potential of PGMs for this problem is still grossly underestimated. This paper aims to boost the development of PGMs for transfer learning by 1) examining the pilot studies on PGMs specific to transfer learning, i.e., analyzing and summarizing the existing mechanisms particularly designed for knowledge transfer; 2) discussing examples of real-world transfer problems where existing PGMs have been successfully applied; and 3) exploring several potential research directions on transfer learning using PGM.

연구 동기 및 목표

• 전이 학습에서 지식 전이를 위한 기존의 PGM 전용 메커니즘을 검토하고 요약하는 것.
• PGM가 성공적으로 문제를 해결한 실생활 응용 사례를 설명하는 것.
• PGM과 전이 학습을 융합하기 위한 미래 연구 방향을 식별하고 논의하는 것.
• 불확실성과 해석 가능성을 함께 고려한 이전에 잘 활용되지 않은 강력한 프레임워크로서 PGM을 지식 전이 모델링에 위치시키는 것.
• 기존 접근 방식을 체계화하고 열려 있는 과제를 규명함으로써 전이 학습과 확률적 그래픽 모델링 간 격차를 메우는 것.

제안 방법

• 공유되는 통계적 강점에 기반해 PGM 기반 전이 학습 방법을 여섯 가지 유형으로 분류: 정규 사전, 토픽, 트리, 속성, 요인, 모델.
• 방향성 및 무방향 그래픽 모델(예: 베이지안 네트워크, CRF)을 사용하여 소스 도메인과 타겟 도메인의 관측 변수와 잠재 변수 간의 의존성을 표현.
• PGM의 모델 설계 및 추론을 활용하여 서로 다른 특징 공간을 가진 도메인 간의 데이터 분포와 전이 가능한 지식을 동시에 캡처.
• 잠재 변수 구조(예: $Z_i$, $ heta$)를 활용하여 도메인 특화 및 공유 표현을 모델링하고, 불확실성 하에서 지식 전이를 가능하게 함.
• 도메인 적응 및 다중 작업 학습 원리를 PGM 프레임워크에 통합하여 저데이터 또는 이질적 환경에서의 일반화 성능 향상.
• PGM와 딥 러닝 및 GAN을 융합한 하이브리드 접근 방식을 제안하여 타겟 도메인에서의 표현 학습 및 예측 성능 향상.

실험 결과

연구 질문

• RQ1 지식 전이를 위해 사용되는 공유 통계적 구조의 유형에 기반해 확률적 그래픽 모델을 체계적으로 분류할 수 있는가?
• RQ2 어떤 실생활 응용에서 PGM이 서로 다른 데이터 분포 또는 특징 공간을 가진 도메인 간 전이 학습을 성공적으로 구현했는가?
• RQ3 소스 도메인과 타겟 도메인 간 인과적 전이 관계를 모델링하기 위해 PGM을 어떻게 확장할 수 있는가? 이 과정에서의 주요 과제와 기회는 무엇인가?
• RQ4 딥 러닝 아키텍처를 어떻게 PGM와 융합하여 전이 학습에서 계층적 표현 학습 및 도메인 적응을 향상시킬 수 있는가?
• RQ5 생성 대립 네트워크(GAN)가 PGM의 불확실성 모델링 및 해석 가능성과 결합될 경우 지식 전이에 어떤 역할을 할 수 있는가?

주요 결과

• PGM는 자연어 처리, 컴퓨터 비전, 추천 시스템, 영상 처리 등 다양한 도메인에서 전이 학습에 성공적으로 적용되었으며, 저데이터 및 이질적 환경에서 뛰어난 성능을 보였다.
• PGM에서 잠재 변수와 확률적 의존성의 사용은 불확실성 모델링과 해석 가능성을 효과적으로 가능하게 하여 신뢰할 수 있는 지식 전이에 필수적이다.
• 특정 PGM, 예를 들어 토픽 모델 기반, 정규 사전 기반, 요인 구조 기반 모델은 다중 도메인 감성 분석, 이미지 분류, 제로샷 학습 등에서 성공을 거두었다.
• 일장/제로샷 이미지 분류 및 다중 모odal 인간 활동 인식(텍스트에서 영상로의 변환)과 같은 전이 문제들이 PGM 기반 지식 전이로 효과적으로 해결되었다.
• PGM와 딥 러닝 및 GAN의 융합은 타겟 도메인에서의 표현 학습 및 예측 정확도 향상에 유망한 길을 열어주고 있다.
• 강력한 실험적 성과에도 불구하고, PGM 기반 전이 학습는 여전히 미비하게 연구되고 있으며, 인과적 전이 학습 및 다중 해상도 표현 모델링 등 분야에서 큰 잠재력이 있다.