[논문 리뷰] Federated Active Learning (F-AL): an Efficient Annotation Strategy for Federated Learning

Jin-Hyun Ahn, Kyungsang Kim외 2명|arXiv (Cornell University)|2022. 02. 01.

Privacy-Preserving Technologies in Data참고 문헌 32인용 수 4

한 줄 요약

이 논문은 피드포워드 학습(Federated Learning) 환경에서 레이블링 비용을 줄이기 위해 클라이언트들이 공동으로 가장 정보가 많은 샘플을 선택할 수 있도록 하는 연간 활성 학습(Federated Active Learning, F-AL)을 제안한다. F-AL은 분산된 협업 기반의 불확실성 기반 샘플링을 통해 랜덤 샘플링과 클라이언트 수준의 별도 활성 학습(S-AL)보다 더 적은 레이블링 샘플로도 글로벌 모델의 정확도를 향상시켜, annotation 비용을 줄이는 데 성공한다.

ABSTRACT

Federated learning (FL) has been intensively investigated in terms of communication efficiency, privacy, and fairness. However, efficient annotation, which is a pain point in real-world FL applications, is less studied. In this project, we propose to apply active learning (AL) and sampling strategy into the FL framework to reduce the annotation workload. We expect that the AL and FL can improve the performance of each other complementarily. In our proposed federated active learning (F-AL) method, the clients collaboratively implement the AL to obtain the instances which are considered as informative to FL in a distributed optimization manner. We compare the test accuracies of the global FL models using the conventional random sampling strategy, client-level separate AL (S-AL), and the proposed F-AL. We empirically demonstrate that the F-AL outperforms baseline methods in image classification tasks.

연구 동기 및 목표

• 실세계 피드포워드 학습(FL) 응용에서 레이블링이 주로 차지하는 블로킹 요소인 높은 레이블링 비용을 해결하기 위해.
• 활동 학습(AL)이 피드포워드 학습 프레임워크에 효과적으로 통합될 수 있는지 조사하기 위해.
• 클라이언트 수준의 레이블링 노력 최소화와 함께 글로벌 FL 모델 성능을 향상시키는 협업 기반의 활성 학습 전략을 설계하기 위해.
• F-AL이 피드포워드 학습 환경에서 랜덤 샘플링과 클라이언트 수준의 별도 활성 학습(S-AL)과 비교하여 성능을 어떻게 높이는지 분석하기 위해.

제안 방법

• F-AL은 클라이언트들이 독립적으로 선택하는 대신, 공동으로 레이블링에 가장 적합한 샘플을 식별함으로써 협업 기반의 활성 학습을 가능하게 한다.
• 이 방법은 불확실성 기반 샘플링 전략(예: 불확실성 샘플링, 코어셋, VAAL)을 분산 방식으로 사용하며, 클라이언트들이 중앙 파rameter 서버를 통해 모델 업데이트와 샘플링 결정을 공유한다.
• 클라이언트들은 로컬 비라벨 데이터에 대해 최신의 AL 알고리즘(예: MCDAL, LL, 코어셋, VAAL)을 적용하지만, 최종 샘플 선택은 글로벌 모델의 정보성에 의해 이끌린다.
• 글로벌 모델은 피드포워드 평균화(FedAvg)를 사용하여 업데이트되며, AL 과정은 클라이언트들 간의 불확실성 또는 대표성 지표를 기반으로 반복적으로 새로운 샘플을 선택한다.
• 모든 로컬 데이터를 중앙 집중화하지 않도록 하여 프라이버시와 통신 효율성을 유지함으로써, F-AL은 FL 제약 조건을 준수한다.
• F-AL은 지역적 정보성과 글로벌 모델 향상 간의 균형을 이루기 위해 분산 최적화 접근법을 사용하여 개인 클라이언트 데이터 분포에 대한 편향을 피한다.

실험 결과

연구 질문

• RQ1 활동 학습(AL)이 피드포워드 학습(FL)에 효과적으로 통합되어 레이블링 작업 부담을 줄일 수 있는가?
• RQ2 협업 기반 활성 학습(F-AL)은 글로벌 모델 정확도 측면에서 랜덤 샘플링과 클라이언트 수준의 별도 활성 학습(S-AL)과 비교하여 어떻게 성능을 냈는가?
• RQ3 F-AL은 고립된 클라이언트 수준의 AL과 비교해 분산된 FL 환경에서 활성 학습 성능을 향상시키는가?
• RQ4 왜 일부 AL 전략(예: 코어셋, VAAL)은 중심화된 환경에서는 성공했지만, FL 환경에서는 성능이 떨어지는가?
• RQ5 F-AL은 클라이언트당 제한된 비라벨 데이터로 인한 성능 저하를 어느 정도 완화하는가?

주요 결과

• F-AL은 패션-MNIST, CIFAR-10, CIFAR-100을 포함한 여러 이미지 분류 벤치마크에서 랜덤 샘플링과 S-AL보다 테스트 정확도에서 뚜렷한 승리를 거두었다.
• F-AL의 성능 향상은 불확실성 기반 AL 방법(예: 불확실성 샘플링, MCDAL, LL)에서 가장 두드러지며, 기준 방법 대비 상당한 향상을 보였다.
• F-AL은 글로벌 모델 정확도를 유지하거나 향상시키면서도 필요한 레이블링 샘플 수를 줄여, annotation 비용 절감에 효과적임을 입증했다.
• 코어셋과 VAAL 방법은 클라이언트당 비라벨 데이터가 부족하여 FL 환경에서 성능이 떨어지지만, F-AL은 VAE와 디텍터의 협업 학습을 통해 VAAL의 성능을 향상시켜(F-VAAL) 개선했다.
• F-AL은 클라이언트들이 지역 데이터의 정보성보다 글로벌 모델 향상에 우선순위를 두기 때문에, 독립적 로컬 학습(IL)에서 성능 저하가 발생한다. 이는 클라이언트 간에 편향된 샘플링을 유도한다.
• 로컬 데이터 분포의 편향에도 불구하고, F-AL가 선택한 집합된 데이터셋은 높은 글로벌 모델 정확도를 달성하여, FL 환경에서 협업 기반 샘플링의 효과성을 확인했다.