[논문 리뷰] Byzantine Resilient Distributed Multi-Task Learning

Jiani Li, Waseem Abbas외 1명|arXiv (Cornell University)|2020. 10. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 44인용 수 4

한 줄 요약

이 논문은 누적 손실을 사용하여 에이전트의 모델 간 유사도를 측정하는 분산 다중 작업 학습을 위한 베즈반티너-내성 온라인 가중치 조정 규칙을 제안한다. 높은 손실을 가진 이웃을 필터링함으로써, 비정상적인 에이전트가 존재하더라도 정상 에이전트가 전역 최솟값으로 수렴함을 보장하며, 고장 난 에이전트의 수에 대한 사전 지식이 필요로 하지 않고, 볼록 및 비볼록 설정 모두에서 비협력적 학습보다 뛰어난 성능을 달성한다.

ABSTRACT

Distributed multi-task learning provides significant advantages in multi-agent networks with heterogeneous data sources where agents aim to learn distinct but correlated models simultaneously.However, distributed algorithms for learning relatedness among tasks are not resilient in the presence of Byzantine agents. In this paper, we present an approach for Byzantine resilient distributed multi-task learning. We propose an efficient online weight assignment rule by measuring the accumulated loss using an agent's data and its neighbors' models. A small accumulated loss indicates a large similarity between the two tasks. In order to ensure the Byzantine resilience of the aggregation at a normal agent, we introduce a step for filtering out larger losses. We analyze the approach for convex models and show that normal agents converge resiliently towards the global minimum.Further, aggregation with the proposed weight assignment rule always results in an improved expected regret than the non-cooperative case. Finally, we demonstrate the approach using three case studies, including regression and classification problems, and show that our method exhibits good empirical performance for non-convex models, such as convolutional neural networks.

연구 동기 및 목표

• 악성 업데이트를 전송하는 비즈반티너 에이전트에 취약한 기존 분산 다중 작업 학습 방법의 취약점을 해결한다.
• 중앙 집중적 조율 없이도 계산 효율적이며 온라인으로 작업 유사도를 추정할 수 있는 방법을 개발한다.
• 모든 이웃이 비즈반티너일 경우에도 정상 에이전트의 수렴 내성을 확보하며, 고장 난 에이전트의 수에 대한 사전 정의된 상한선이 필요로 하지 않는다.
• 손실 기반의 적응형 이웃 가중치를 통해 비협력적 학습 대비 예상 손실을 개선한다.
• 다양한 실제 사례 연구에서 볼록 및 비볼록 모델, 특히 딥 네URAL 네트워크에서도 효과를 입증한다.

제안 방법

• 각 에이전트의 데이터에 대해 이웃의 모델 하에서 누적 손실을 측정함으로써 에이전트 간 유사도를 측정하며, 낮은 손실이 높은 유사도를 나타낸다.
• 자신의 손실을 초과하는 손실을 가진 이웃을 제거하는 필터링 단계를 도입함으로써 비즈반티너 에이전트의 영향을 완화한다.
• 정규화된 손실 값에 기반해 이웃에 동적 가중치를 할당함으로써 악성 행동이 존재하는 상황에서도 강력한 집계를 보장한다.
• 선형 시간 계산 전략을 사용하여 가중치 할당을 수행함으로써 대규모 이웃 및 고차원 데이터에 대해 확장 가능하다.
• 손실 기반 가중치 규칙을 반복적 모델 교환 및 집계를 포함하는 분산 다중 작업 학습 프레임워크에 통합한다.
• 볼록성 가정 하에 전역 최솟값으로의 이론적 수렴을 증명하고, 비협력적 학습 대비 개선된 예상 손실을 보여준다.

실험 결과

연구 질문

• RQ1 모델 파라미터 간 거리로 유사도를 측정할 때, 분산 다중 작업 학습 시스템이 비즈반티너 에이전트에 대해 내성을 유지할 수 있는가?
• RQ2 탈중앙화되고 확장 가능하며 비즈반티너 내성적인 방식으로 온라인에서 작업 유사도를 어떻게 추정할 수 있는가?
• RQ3 악성 에이전트 존재 하에서 손실 기반 가중치를 사용한 집계가 비협력적 학습 대비 예상 손실을 개선하는가?
• RQ4 모든 이웃이 비즈반티너일 경우에도 제안된 방법이 전역 최솟값으로 수렴을 보장할 수 있는가?
• RQ5 실제 응용에서 컨볼루션 신경망과 같은 비볼록 모델에 대해 이 방법은 경험적으로 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 손실 기반 가중치 할당 규칙은 모든 사례 연구에서 평균 손실과 분류 정확도 측면에서 베이스라인 규칙 및 비협력적 학습을 일관되게 능가한다.
• 정상 에이전트가 유일하고 나머지가 모두 비즈반티너인 극단적인 경우, 이 방법은 비협력적 학습과 동일한 성능을 달성하여 임의의 수의 비즈반티너 에이전트에 대한 내성을 입증한다.
• 비즈반티너 에이전트가 모두 이웃일 경우에도 볼록 모델 하에서 정상 에이전트가 전역 최솟값으로 내성적으로 수렴함을 보장한다.
• 이론적으로 증명된 바와 같이, 제안된 가중치를 사용한 집계는 비협력적 학습 대비 엄밀히 개선된 예상 손실을 제공한다.
• 회귀, 인간 행동 인식, 숫자 분류에 대한 경험적 결과는 컨볼루션 신경망을 포함한 비볼록 모델에서 뛰어난 성능을 보여준다.
• 필터링 메커니즘이 비정상적으로 높은 손실을 가진 이웃을 식별하고 제거함으로써 악성 업데이트를 효과적으로 억제하고, 내성을 향상시킨다.