[논문 리뷰] Towards Interpretable Federated Learning

Anran Li, Rui Liu외 3명|arXiv (Cornell University)|2023. 02. 27.

Privacy-Preserving Technologies in Data인용 수 9

한 줄 요약

본 논문은 해석 가능한 연합 학습(IFL)에 대한 최초의 고찰로, 분류 체계를 제안하고, 대표적인 IFL 접근법, 평가 지표, 그리고 향후 방향을 분석한다.

ABSTRACT

Federated learning (FL) enables multiple data owners to build machine learning models collaboratively without exposing their private local data. In order for FL to achieve widespread adoption, it is important to balance the need for performance, privacy-preservation and interpretability, especially in mission critical applications such as finance and healthcare. Thus, interpretable federated learning (IFL) has become an emerging topic of research attracting significant interest from the academia and the industry alike. Its interdisciplinary nature can be challenging for new researchers to pick up. In this paper, we bridge this gap by providing (to the best of our knowledge) the first survey on IFL. We propose a unique IFL taxonomy which covers relevant works enabling FL models to explain the prediction results, support model debugging, and provide insights into the contributions made by individual data owners or data samples, which in turn, is crucial for allocating rewards fairly to motivate active and reliable participation in FL. We conduct comprehensive analysis of the representative IFL approaches, the commonly adopted performance evaluation metrics, and promising directions towards building versatile IFL techniques.

연구 동기 및 목표

• 개인정보에 민감하고 임무에 결정적으로 중요한 응용 분야에서 해석 가능한 연합 학습의 필요성을 제고한다.
• 클라이언트/샘플/특성 선택, 모델 최적화, 기여도 평가를 포괄하는 IFL의 포괄적 분류 체계를 제시한다.
• FL 설정 전반에 걸친 대표적인 IFL 접근법, 평가 지표, 프라이버시 고려사항을 분석한다.
• 해석 가능성, 성능, 프라이버시 간의 균형을 맞추기 위한 도전과제 파악 및 향후 방향을 제시한다.

제안 방법

• 이해관계자 역할과 프라이버시 보호에 기반한 고유한 IFL 분류 체계를 제안한다.
• 클라이언트 선택, 샘플 선택, 특징(특성) 선택, 모델 최적화, 기여도 평가의 단계별로 IFL 접근법을 분류한다.
• 모델 비종속적 모델 및 모델 특이적 패러다임 전반의 해석 가능한 기법을, 보상 기반 및 강건한 집계 방법을 포함하여 검토한다.
• 충실도(정확성)와 해석 후 성능 등 효과성, 그리고 계산/통신 비용 등 효율성을 위한 평가 지표를 종합한다.
• 해석 가능한 모델 추출, 난해한 샘플 인식 가능한 IFL, 그리고 복합적 위협 모델에 대한 강건성 같은 향후 방향을 제시한다.

Figure 1: The proposed taxonomy for the IFL literature.

실험 결과

연구 질문

• RQ1 해석 가능한 연합 학습에서 주요 구성 요소와 이해관계자들은 누구인가?
• RQ2 어떤 분류 체계가 기존의 IFL 접근법과 FL 단계 전반의 프라이버시 고려를 가장 잘 포착하는가?
• RQ3 FL 내에서 클라이언트/샘플/특성 선택 및 모델 최적화에서 해석 가능성을 달성하는 주요 방법은 무엇인가?
• RQ4 IFL 접근법은 효과성 및 효율성 측면에서 어떻게 평가되어야 하는가?
• RQ5 해석 가능하고 프라이버시를 가진 강건한 FL 시스템을 발전시킬 수 있는 미래 방향은 무엇인가?

주요 결과

• IFL은 데이터 은닉성과 자원 제약으로 인해 학제간이며 도전적이다.
• 다섯 단계에 걸친 IFL 접근법의 분류 체계와 체계적 고찰은 이 분야에 대한 응집력 있는 시각을 제공한다.
• 해석 가능한 기법은 클라이언트/샘플/특성 선택, 모델 구성, 강건한 집계, 기여도 평가에 걸쳐 있으며 모델 비종속적 및 모델 특이적 방법을 모두 포괄한다.
• 평가 지표는 충실도 및 해석 후 성능(효과성)과 계산/통신 비용(효율성)을 구분한다.
• 향후 방향으로는 해석 가능한 모델 추출, 난해한 샘플 인식 가능 IFL, 프라이버시를 고려한 IFL 및 복합 위협 모델에 대한 대응이 제시된다.