[논문 리뷰] Federated Neuro-Symbolic Learning

Pengwei Xing, Songtao Lu외 1명|arXiv (Cornell University)|2023. 08. 29.

Topic ModelingComputer Science인용 수 3

한 줄 요약

FedLogic는 비독립 동일 분포(non-i.i.i.d.) 클라이언트 간의 개인화와 일반화를 균형 있게 유지하기 위해 변분 기대값 최대화(V-EM)와 KL 발산 제약을 활용한 이중 최적화 이론을 적용하여, 대규모 언어 모델(LLM)에서 다중 도메인 체인 오브 타ught(CoT) 프롬프트 선택을 위한 새로운 해석 가능한 연합 신경기호 프레임워크를 제안한다. 이는 규칙 생성을 확률적 잠재 변수 추론으로 모델링하여 다중 도메인 CoT 추론에서 뛰어난 성능을 달성한다.

ABSTRACT

Neuro-symbolic learning (NSL) models complex symbolic rule patterns into latent variable distributions by neural networks, which reduces rule search space and generates unseen rules to improve downstream task performance. Centralized NSL learning involves directly acquiring data from downstream tasks, which is not feasible for federated learning (FL). To address this limitation, we shift the focus from such a one-to-one interactive neuro-symbolic paradigm to one-to-many Federated Neuro-Symbolic Learning framework (FedNSL) with latent variables as the FL communication medium. Built on the basis of our novel reformulation of the NSL theory, FedNSL is capable of identifying and addressing rule distribution heterogeneity through a simple and effective Kullback-Leibler (KL) divergence constraint on rule distribution applicable under the FL setting. It further theoretically adjusts variational expectation maximization (V-EM) to reduce the rule search space across domains. This is the first incorporation of distribution-coupled bilevel optimization into FL. Extensive experiments based on both synthetic and real-world data demonstrate significant advantages of FedNSL compared to five state-of-the-art methods. It outperforms the best baseline by 17% and 29% in terms of unbalanced average training accuracy and unseen average testing accuracy, respectively.

연구 동기 및 목표

• 연합 LLM에서 다중 도메인 체인 오브 타ught(CoT) 프롬프트 선택을 위한 원칙적이고 해석 가능한 방법의 부족을 해결한다.
• 프롬프트 엔지니어링의 시행착오적 성격을 극복하기 위해 CoT 선택을 이중 최적화 문제로 공식화한다.
• 클라이언트가 다양한 민감한 데이터를 보유한 비독립 동일 분포 연합 학습 환경에서 일반화와 개인화를 효과적으로 균형 잡는다.
• 수학적 문제 해결 CoT 능력을 서사 작문 작업으로의 교차 도메인 전이를 가능하게 한다.
• 클라이언트 쿼리와 글로벌 지식에 조건부로 CoT 규칙을 생성하는 트랜스포머 기반의 잠재 분산 논리 규칙 학습자( latent-variance logic rule learner)를 도입한다.

제안 방법

• 상위 수준 모델(FedLogic)이 프롬프트를 선택하고 하위 수준 모델이 CoT 추론 단계를 생성하는 이중 최적화 프로그램으로 CoT 프롬프트 선택을 공식화한다.
• 잠재 CoT 규칙의 사후 분포를 근사하기 위해 변분 기대값 최대화(V-EM)를 사용하여 엔드 투 엔드 학습을 가능하게 한다.
• 클라이언트별 사후 분포와 글로벌 사전 분포 사이의 KL 발산 제약, 그리고 교차 도메인 개인화를 위한 잠재 공간 정규화를 위한 제약 두 가지를 통합한다.
• 서버의 규칙 결정을 확률적 은닉 변수로 모델링하여, 비독립 동일 분포 FL 환경에서의 동적 가중치 조정과 더 나은 적응성을 가능하게 한다.
• 클라이언트 쿼리와 글로벌 지식에 조건부로 CoT 규칙을 생성하는 트랜스포머 기반 아키텍처를 잠재 분산 논리 규칙 학습자로 사용한다.
• 기존의 일대일 신경기호 시스템과는 달리, 클라이언트 간의 일대다 관계를 지원하도록 연합 학습 목표를 재구성한다.

실험 결과

연구 질문

• RQ1 어떻게 연합 LLM에서 다중 도메인 CoT 프롬프트 선택을 위한 원칙적이고 해석 가능한 프레임워크를 설계할 수 있는가?
• RQ2 LLM은 비독립 동일 분포 환경에서 수학적 문제 해결 CoT 능력을 서사 작문 작업으로 얼마나 효과적으로 전이할 수 있는가?
• RQ3 비독립 동일 분포 클라이언트 간에 일반화와 개인화를 어떻게 효과적으로 균형 잡을 수 있는가?
• RQ4 V-EM 프레임워크 내의 KL 발산 제약는 큰 검색 공간 문제를 완화하고 교차 도메인 CoT 성능을 향상시키는 데 기여하는가?
• RQ5 FedLogic는 기존 베이스라인보다 일대다 비독립 동일 분포 연합 CoT 선택 시나리오에서 어떻게 뛰어난 성능을 내는가?

주요 결과

• FedLogic는 V-EM를 적용한 이중 최적화 문제로 공식화된 최초의 해석 가능하고 원칙적인 연합 다중 도메인 CoT 프롬프트 선택 프레임워크이다.
• 두 가지 KL 발산 제약의 통합은 큰 검색 공간을 관리하고 교차 도메인 개인화를 가능하게 하여 성능 향상에 기여한다.
• 최적화가 완료된 상태에서도 최첨단 베이스라인을 능가하는 성능을 보이며, 다중 도메인 CoT 작업에서 뛰어난 일반화 능력과 적응성을 입증한다.
• 수학적 추론 CoT 패tern이 서사 작문 작업으로 성공적으로 전이되었으며, 효과적인 교차 도메인 지식 전이를 나타낸다.
• 서버의 규칙 결정을 확률적 은닉 변수로 모델링함으로써 FedLogic는 동적 가중치 조정과 비독립 동일 분포 클라이언트 데이터 분포 처리 능력을 향상시킨다.
• 기존 일대일 신경기호 시스템과는 달리, FedLogic의 일대다 아키텍처는 실제 연합 학습 시나리오의 복잡성을 더 잘 반영한다.