[논문 리뷰] HHHFL: Hierarchical Heterogeneous Horizontal Federated Learning for Electroencephalography

Dashan Gao, Ce Ju외 4명|arXiv (Cornell University)|2019. 09. 11.

EEG and Brain-Computer Interfaces참고 문헌 16인용 수 64

한 줄 요약

논문은 HHHFL을 제안하는데, 계층적 이질적 수평 연합학습 프레임워크로서, manifold projections 및 MMD 기반 도메인 손실을 통해 이질적인 EEG 디바이스 데이터를 공통 임베딩 공간으로 정렬하여 프라이버시를 보장하는 크로스-디바이스 EEG 분류를 가능케 한다.

ABSTRACT

Electroencephalography (EEG) classification techniques have been widely studied for human behavior and emotion recognition tasks. But it is still a challenging issue since the data may vary from subject to subject, may change over time for the same subject, and maybe heterogeneous. Recent years, increasing privacy-preserving demands poses new challenges to this task. The data heterogeneity, as well as the privacy constraint of the EEG data, is not concerned in previous studies. To fill this gap, in this paper, we propose a heterogeneous federated learning approach to train machine learning models over heterogeneous EEG data, while preserving the data privacy of each party. To verify the effectiveness of our approach, we conduct experiments on a real-world EEG dataset, consisting of heterogeneous data collected from diverse devices. Our approach achieves consistent performance improvement on every task.

연구 동기 및 목표

• 프라이버시 제약 하에서 디바이스 이질성 데이터를 가진 EEG 분류의 도전을 제시한다.
• 이질적 EEG 신호를 정렬하기 위한 계층적 이질적 수평 연합 학습 프레임워크를 제안한다.
• 원시 데이터를 노출하지 않으면서 공유 학습을 가능하게 하는 manifold projection 및 도메인 정렬 전략을 개발한다.
• 실세계의 이질적 EEG 데이터에서 로컬 베이스라인에 비해 향상된 성능을 보여준다.

제안 방법

• 이질적인 EEG 임베딩을 공통 임베딩 공간으로 매핑하기 위해 디바이스별 manifold projection을 구성한다.
• 크로스-디바이스 분포 차이를 최소화하기 위해 Maximum Mean Discrepancy(MMD)에 기반한 도메인 손실과 분류 손실을 결합한다.
• 표현 정렬을 위한 합성 손실 L = L_C + sum_{i<j} lambda_{i,j} MMD^2(Q_i, Q_j) 를 최적화한다.
• 원시 데이터를 공유하지 않고 피처 매핑과 EEG 분류기를 업데이트하기 위해 서버 어그리게이터와 함께 수평 연합 학습을 적용한다.
• 매핑을 위해 동일 디바이스의 클라이언트들 간에, 분류기를 위해 모든 디바이스 간에 Federated Averaging으로 모델을 집계한다.
• MindBigData에서 이질적 디바이스를 사용해 로컬 베이스라인 대비 성능 개선을 검증한다.

실험 결과

연구 질문

• RQ1 다른 디바이스의 이질적 EEG 데이터가 공동 학습을 위해 효과적으로 공통 임베딩 공간으로 정렬될 수 있는가?
• RQ2 계층적 이질적 수평 FL이 디바이스별 모델이나 단순 집계보다 EEG 분류 성능을 향상시키는가?
• RQ3 디바이스 간 분포 이동을 완화하는 데 있어 manifold projection과 MMD 기반 도메인 손실의 효과는 어느 정도인가?
• RQ4 제안된 HHHFL 프레임워크의 프라이버시 보장 특성과 학습 역학은 무엇인가?

주요 결과

• HHHFL은 개별 디바이스 데이터로 학습된 로컬 기본 모델보다 성능이 우수하다.
• 두세 개의 디바이스 데이터셋으로 학습하면 정확도 향상과 수렴 속도 개선을 얻을 수 있다.
• MindBigData 실험에서 관찰된 바와 같이 추가 디바이스의 데이터가 더 큰 정확도 향상을 제공할 수 있다.
• 동일 디바이스 타입의 클라이언트들이 협력하여 이질적 데이터를 공통 임베딩 공간으로 매핑하는 피처 매핑을 함께 학습한다.