[논문 리뷰] Grounding Foundation Models through Federated Transfer Learning: A General Framework

Yan Kang, Tao Fan외 4명|arXiv (Cornell University)|2023. 11. 29.

Privacy-Preserving Technologies in Data인용 수 5

한 줄 요약

이 논문은 분산 지식 전이에서 기초 모델을 지상화하기 위한 일반적인 프레임워크인 연합 전이 학습 기반 기초 모델(FTL-FM)을 제안한다. 이는 기밀성, 자원 제약, 모델 이질성 문제를 해결한다. FTL-FM 설정을 정의하고 지식 전이 방법의 분류 체계를 도입하며, 효율성 및 기밀성 기법을 검토하여 중앙 집중식 데이터 공유 없이도 기초 모델을 도메인 특화 요구사항에 안전하고 확장 가능한 방식으로 적응시킬 수 있도록 한다.

ABSTRACT

Foundation Models (FMs) such as GPT-4 encoded with vast knowledge and powerful emergent abilities have achieved remarkable success in various natural language processing and computer vision tasks. Grounding FMs by adapting them to domain-specific tasks or augmenting them with domain-specific knowledge enables us to exploit the full potential of FMs. However, grounding FMs faces several challenges, stemming primarily from constrained computing resources, data privacy, model heterogeneity, and model ownership. Federated Transfer Learning (FTL), the combination of federated learning and transfer learning, provides promising solutions to address these challenges. In recent years, the need for grounding FMs leveraging FTL, coined FTL-FM, has arisen strongly in both academia and industry. Motivated by the strong growth in FTL-FM research and the potential impact of FTL-FM on industrial applications, we propose an FTL-FM framework that formulates problems of grounding FMs in the federated learning setting, construct a detailed taxonomy based on the FTL-FM framework to categorize state-of-the-art FTL-FM works, and comprehensively overview FTL-FM works based on the proposed taxonomy. We also establish correspondences between FTL-FM and conventional phases of adapting FM so that FM practitioners can align their research works with FTL-FM. In addition, we overview advanced efficiency-improving and privacy-preserving techniques because efficiency and privacy are critical concerns in FTL-FM. Last, we discuss opportunities and future research directions of FTL-FM.

연구 동기 및 목표

• 데이터가 고립되어 있고 기밀이며 계산 자원이 제한된 실생활 산업 환경에서 기초 모델을 지상화하는 데 도전 과제를 해결하기 위해.
• 특히 기초 모델 제공자와 도메인 특화 클라이언트 간의 지식 전이에 중점을 두어 연합 학습 환경에서 기초 모델 지상화 문제를 체계화하기 위해.
• 핵심 연구 문제인 전달할 내용, 전달 방법, 보호할 내용, 보호 방법, 공격에 대응하는 방법을 기반으로 한 다섯 차원의 분류 체계를 개발하기 위해.
• FTL-FM에서의 효율성 및 기밀성 기법을 검토하고 통합하여 실용적 구현을 지원하기 위해.
• 계속 학습, 머신 삭제, 엣지 AI 통합과 같은 열린 연구 방향을 특정하기 위해.

제안 방법

• 기초 모델과 도메인 모델의 공동 최적화를 포함한 세 가지 유형의 설정을 체계화하는 일반적인 FTL-FM 프레임워크를 제안한다: 연합 미세조정, 연합 지식 정렬, 연합 공최적화.
• 핵심 연구 문제를 기반으로 한 다섯 차원의 분류 체계를 도입한다: (1) 전달할 내용, (2) 전달 방법, (3) 보호할 내용, (4) 보호 방법, (5) 공격에 대응하는 방법.
• 이 분류 체계에 따라 기존의 FTL-FM 연구를 분류하며, 도메인 적응, 연합 프롬프트 튜닝, 스플릿 학습, 오프사이트 튜닝, 파rameter 효율적 미세조정 등을 포함한다.
• FTL-FM 맥락에서 고도화된 기밀성 기반 기법인 차별적 기밀성, 보안 집계, 동형 암호화를 검토한다.
• 지식 정렬, 양자화, 희소성 기반 파라미터 업데이트와 같은 효율성 향상 전략을 분석하여 통신 및 계산 비용을 줄인다.
• FTL-FM와 전통적인 기초 모델 적응 단계 간의 대응 관계를 수립하여 실무자들이 기존 연구를 FTL-FM 철학에 맞게 정렬할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기본 모델을 도메인 특화 응용에 효과적으로 지상화하면서 데이터 기밀성과 모델 소유권을 유지할 수 있는 방법은 무엇인가?
• RQ2 기초 모델을 위한 연합 전이 학습에서의 핵심 설계 선택 사항과 전달 메커니즘은 무엇이며, 설정 간에 어떻게 다를 수 있는가?
• RQ3 분산된 환경에서 기초 모델 제공자와 도메인 특화 클라이언트 간의 지식 전이 과정에서 기밀성이 어떻게 유지될 수 있는가?
• RQ4 FTL-FM에서 통신 및 계산 오버헤드를 줄이기 위해 가장 효과적인 효율성 향상 기법은 무엇인가?
• RQ5 계속 학습, 머신 삭제, 엣지 AI 통합과 같은 향후 연구 방향 중 FTL-FM의 발전에 가장 유망한 것은 무엇인가?

주요 결과

• 제안된 FTL-FM 프레임워크는 기초 모델을 연합 환경에서 지상화하기 위한 세 가지 핵심 설정을 성공적으로 체계화하여 지식 전이의 체계적 분석을 가능하게 한다.
• 이 분류 체계를 통해 다섯 가지 연구 차원을 기반으로 기존 FTL-FM 연구를 명확히 분류할 수 있어 분야 내 명확성과 일치성을 향상시킨다.
• 연합 지식 정렬과 파라미터 효율적 미세조정은 통신 및 계산 비용을 줄이면서도 모델 성능을 유지하는 데 효과적임이 입증되었다.
• 차별적 기밀성과 보안 집계와 같은 기밀성 기반 기법은 전이 과정에서 민감한 도메인 데이터를 보호하는 데 필수적이다.
• 계속 학습과 머신 삭제는 지속적으로 변화하는 지식과 데이터 준수 요구사항을 충족하기 위해 FTL-FM 시스템에서 중요한 연구 방향으로 부상하고 있다.
• 엣지 AI 통합은 향후 유망한 방향으로, 저지연 및 저소비 전력으로 현장에서 FTL-FM을 구현하기 위해 하드웨어-소프트웨어-알고리즘의 융합 설계가 필요하다.