[논문 리뷰] FedVision: An Online Visual Object Detection Platform Powered by Federated Learning

Yang Liu, Anbu Huang외 8명|arXiv (Cornell University)|2020. 01. 17.

Privacy-Preserving Technologies in Data참고 문헌 20인용 수 29

한 줄 요약

FedVision은 민감한 비디오 데이터를 공유하지 않고도 현장에 저장된 영상 데이터를 기반으로 정확한 객체 검출 모델을 훈련시킬 수 있도록 해주는 엔드 투 엔드 피어드 페더레이티드 러닝 플랫폼이다. YOLOv3 기반 아키텍처를 활용한 페더레이티드 어워징을 통해 네트워크 통신 비용을 크게 절감하고, 네 가지월간 세 개의 기업 고객에게 효율성 향상과 비용 절감을 이룩하였다. 이는 컴퓨터 비전 분야에서 페더레이티드 러닝의 첫 산업적 적용 사례이다.

ABSTRACT

Visual object detection is a computer vision-based artificial intelligence (AI) technique which has many practical applications (e.g., fire hazard monitoring). However, due to privacy concerns and the high cost of transmitting video data, it is highly challenging to build object detection models on centrally stored large training datasets following the current approach. Federated learning (FL) is a promising approach to resolve this challenge. Nevertheless, there currently lacks an easy to use tool to enable computer vision application developers who are not experts in federated learning to conveniently leverage this technology and apply it in their systems. In this paper, we report FedVision - a machine learning engineering platform to support the development of federated learning powered computer vision applications. The platform has been deployed through a collaboration between WeBank and Extreme Vision to help customers develop computer vision-based safety monitoring solutions in smart city applications. Over four months of usage, it has achieved significant efficiency improvement and cost reduction while removing the need to transmit sensitive data for three major corporate customers. To the best of our knowledge, this is the first real application of FL in computer vision-based tasks.

연구 동기 및 목표

• 개인정보 보호 규정으로 인해 민감한 영상 데이터를 공유할 수 없는 상황에서 정확한 시각적 객체 검출 모델을 훈련시키는 데 도전한다.
• 고비용 통신, 데이터 泄露 위험, 모델 업데이트 지연 등의 문제를 겪는 중심화된 훈련 방식의 한계를 극복한다.
• 페더레이티드 러닝 전문 지식이 없는 사용자도 FL 기반 컴퓨터 비전 응용 프로그램을 배포하고 관리할 수 있도록 사용자 친화적인 플랫폼을 개발한다.
• 조직 간 데이터 이동 없이도 실시간으로 지속적인 모델 개선이 가능한 온라인 페더레이티드 훈련을 가능하게 한다.
• 특히 스마트 시티 안전 모니터링 분야에서 페더레이티드 러닝의 실용성과 이점을 입증한다.

제안 방법

• 업무 및 사용자 역할 기반의 모듈러한 플랫폼 아키텍처를 설계하여 책임 소재의 명확화와 확장 가능한 유지보수를 지원한다.
• 지역 모델 훈련과 파ameter 집계를 지원하도록 조정된 YOLOv3 기반의 특허받은 페더레이티드 시각적 객체 검출 프레임워크를 구현하였다.
• 중앙 서버에서 원시 데이터에 접근하지 않고도 클라이언트 업데이트를 통합하기 위해 핵심 모델 집계 알고리즘으로 페더럴 어워징(FedAvg)을 사용하였다.
• 페더레이티드 러닝의 복잡성을 추상화한 간편한 사용자 인터페이스를 제공하여, FL 전문 지식 없이도 애너테이션된 지역 데이터셋을 활용해 훈련을 시작할 수 있도록 하였다.
• 모델 훈련 중 데이터 기밀성과 시스템 무결성을 보장하기 위해 보안 통신 및 접근 제어 메커니즘을 통합하였다.
• 비동기 업데이트와 실시간 모니터링을 위한 대시보드를 통해 다수의 클라이언트 간 엔드 투 엔드 공동 훈련을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 민감한 데이터를 포함한 실생활 산업 환경에서 페더레이티드 러닝을 시각적 객체 검출에 효과적으로 적용할 수 있는가?
• RQ2 컴퓨터 비전 및 페더레이티드 러닝 분야에 익숙하지 않은 개발자도 사용할 수 있도록 페더레이티드 러닝 플랫폼을 어떻게 설계할 수 있는가?
• RQ3 안전 모니터링 응용 분야에서 전통적인 중심화된 훈련 방식에 비해 페더레이티드 러닝을 사용할 경우 성능 및 효율성 향상은 어느 정도 달성될 수 있는가?
• RQ4 지속적인 데이터 축적과 모델 업데이트가 이루어지는 상황에서 플랫폼은 모델 정확도와 시스템 안정성을 장기간 어떻게 유지할 수 있는가?
• RQ5 다중 조직, 실시간 컴퓨터 비전 시스템에서 페더레이티드 러닝을 구현할 때의 실질적 도전 과제와 이점은 무엇인가?

주요 결과

• FedVision은 세 개의 대규모 기업 고객이 민감한 영상 데이터를 전송하지 않고도 스마트 시티 응용 분야에서 안전 모니터링 솔루션을 개발하는 데 성공하였다.
• 4개월간의 구현 기간 동안 고객들의 운영 효율성이 크게 향상되었고, 데이터 기밀 보호 규정 준수를 동시에 확보하면서 비용도 절감하였다.
• 지역 데이터셋을 활용한 페더럴 훈련을 통해 효과적인 모델 수렴을 달성하였으며, 데이터 공유 없이도 고정확도의 객체 검출이 가능함을 입증하였다.
• 2019년 5월 구현 이래로 AI 유지보수 작업이 전혀 필요로 하지 않아 플랫폼 아키텍처의 강력한 시스템 안정성과 모듈성의 우수함을 보여주었다.
• 플랫폼의 모듈러한 설계 덕분에 AI 엔진이나 모델 훈련 과정에 영향을 주지 않고도 작업, 접근 권한, 파라미터를 업데이트할 수 있었다.
• 저자들의 최선의 지식에 비추어 볼 때, 이는 컴퓨터 비전 기반 작업에서 페더레이티드 러닝의 첫 산업적 응용 사례이며, 안전 핵심 영역에서 기밀 보장 AI의 사례를 마련하였다.