[논문 리뷰] Efficient Privacy Preserving Edge Computing Framework for Image Classification

Omobayode Fagbohungbe, Sheikh Rufsan Reza외 2명|arXiv (Cornell University)|2020. 05. 10.

Privacy-Preserving Technologies in Data참고 문헌 29인용 수 6

한 줄 요약

이 논문은 엣지 디바이스에서 비지도 학습을 통해 자동에코더를 훈련시켜 원본 이미지를 암호화하고 압축하여 잠재 벡터로 변환한 후 중앙 서버로 전송하는 프라이버시 보장형 엣지 계산 프레임워크를 제안한다. 서버는 이러한 컴팩트하고 프라이버시가 보장된 특징을 기반으로 딥 분류기를 훈련시켜 통신 오버헤드를 줄이고 피어드 페더레이티드 러닝의 기울기 공유나 암호화 메커니즘에 의존하지 않으면서도 높은 분류 정확도를 달성한다.

ABSTRACT

In order to extract knowledge from the large data collected by edge devices, traditional cloud based approach that requires data upload may not be feasible due to communication bandwidth limitation as well as privacy and security concerns of end users. To address these challenges, a novel privacy preserving edge computing framework is proposed in this paper for image classification. Specifically, autoencoder will be trained unsupervised at each edge device individually, then the obtained latent vectors will be transmitted to the edge server for the training of a classifier. This framework would reduce the communications overhead and protect the data of the end users. Comparing to federated learning, the training of the classifier in the proposed framework does not subject to the constraints of the edge devices, and the autoencoder can be trained independently at each edge device without any server involvement. Furthermore, the privacy of the end users' data is protected by transmitting latent vectors without additional cost of encryption. Experimental results provide insights on the image classification performance vs. various design parameters such as the data compression ratio of the autoencoder and the model complexity.

연구 동기 및 목표

• IoT 및 5G 환경에서의 클라우드 기반 이미지 처리의 한계를 해결하기 위해 고대역폭 통신, 프라이버시 우려, 데이터 전송 위험을 줄이기 위해.
• 엣지 디바이스의 능력으로 인한 모델 복잡도 제약과 빈번한 통신 요구 사항 등 피어드 페더레이티드 러닝의 제약을 극복하기 위해.
• 엣지 디바이스에서 자동에코더 훈련을 분산시키고 서버에서 분류기 훈련을 집중화시켜 효율적이고 안전하며 확장 가능한 이미지 분류를 가능하게 하기 위해.
• 디코더가 없이선 원본 데이터 복원이 불가능하므로, 원본 이미지가 아닌 오직 잠재 벡터만 전송함으로써 사용자 프라이버시를 보호하기 위해.
• 자동에코더를 활용해 특징 추출 및 데이터 압축을 수행함으로써 통신 비용을 줄이고 시스템 효율성을 향상시키기 위해.

제안 방법

• 각 엣지 디바이스에서 로컬 이미지 데이터를 기반으로 비지도 학습을 통해 컨volutional 자동에코더를 독립적으로 훈련시킨다.
• 원본 이미지가 아닌 학습된 잠재 벡터(압축된 표현)만 각 엣지 디바이스에서 서버로 전송한다.
• 잠재 벡터를 입력으로 사용해 엣지 서버에서 딥 분류기 모델을 훈련시키며, 분류기 훈련을 엣지 디바이스의 제약에서 분리한다.
• 에코더만 엣지 디바이스에 저장하고, 복원에 필요한 디코더는 서버에서 안전하게 보관함으로써 데이터 프라이버시를 유지한다.
• 필요한 경우 사전 훈련된 디코더를 사용해 서버에서 원본 이미지를 복원할 수 있으며, 복원 오차는 매우 작다.
• 서버의 조율 없이도 엣지 디바이스가 실시간 통신 없이 독립적으로 자동에코더 훈련을 수행할 수 있도록, 자동에코더 훈련을 서버 조율에서 분리한다.

실험 결과

연구 질문

• RQ1 다양한 자동에코더 압축 비율에서 제안된 프레임워크의 분류 정확도는 어떻게 변하는가?
• RQ2 원본 이미지 대신 압축된 잠재 벡터를 사용할 경우 모델 성능은 어느 정도 저하되는가?
• RQ3 통신 효율성, 모델 복잡도, 프라이버시 보장 측면에서 피어드 페더레이티드 러닝과 비교해 본 프레임워크의 성능은 어떠한가?
• RQ4 자동에코더에서 유도된 잠재 벡터가 고정밀도 이미지 분류에 충분한 분류 가능 특징을 제공할 수 있는가?
• RQ5 제안된 엣지 컴퓨팅 파이프라인에서 모델 복잡도, 압축 비율, 추론 정확도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 프레임워크는 압축 비율이 16 이하일 때조차도 높은 이미지 분류 정확도를 달성하며, 원본 해상도 입력과 비교해 성능 저하가 거의 없음을 확인했다.
• 사전 훈련된 디코더를 사용할 경우 잠재 벡터에서 원본 이미지를 복원할 때 복원 오차가 매우 작아, 자동에코더가 핵심 이미지 특징을 효과적으로 유지하고 있음을 확인했다.
• 원본 이미지 데이터 대신 컴팩트한 잠재 벡터만 전송함으로써 프레임워크는 통신 오버헤드를 크게 줄였으며, 대역폭 효율성이 향상됨을 입증했다.
• 디코더 가중치와 아키텍처가 없는 적대자에게는 잠재 벡터가 의미상 이해할 수 없기 때문에, 추가 암호화 없이도 프라이버시가 향상된다.
• 잠재 벡터만 전송되기 때문에 엣지 디바이스의 제약 없이도 서버에서 깊고 복잡한 분류기를 구현할 수 있다.
• 기울기 공유나 기울기 유출 위험이 없는 피어드 페더레이티드 러닝과 달리, 모델 업데이트나 기울기를 공유하지 않기 때문에 기울기 누출 위험을 피할 수 있다.