[논문 리뷰] Unsupervised Information Obfuscation for Split Inference of Neural Networks

Mohammad Samragh, Hossein Hosseini외 4명|arXiv (Cornell University)|2021. 04. 23.

Adversarial Robustness in Machine Learning참고 문헌 32인용 수 6

한 줄 요약

이 논문은 감정 분류나 얼굴 특징 등과 같은 민감한 속성에 대한 지식 없이도 엣지 디바이스 출력에서 관련 없는 특징을 제거하는 비지도 정보 왜곡 방법을 제안한다. 서버의 첫 번째 레이어의 특이값 분해(SVD)를 활용하여 원본 특징과의 상호정보량을 최소화하면서도 모델 정확도를 유지하는 특징 벡터를 왜곡한다. 이는 적대적 훈련과 같은 지도 학습 방법보다도 비밀 유지가 어려운 새로운 민감한 속성에 대해 유의미하게 낮은 泄露를 달성한다.

ABSTRACT

Splitting network computations between the edge device and a server enables low edge-compute inference of neural networks but might expose sensitive information about the test query to the server. To address this problem, existing techniques train the model to minimize information leakage for a given set of sensitive attributes. In practice, however, the test queries might contain attributes that are not foreseen during training. We propose instead an unsupervised obfuscation method to discard the information irrelevant to the main task. We formulate the problem via an information theoretical framework and derive an analytical solution for a given distortion to the model output. In our method, the edge device runs the model up to a split layer determined based on its computational capacity. It then obfuscates the obtained feature vector based on the first layer of the server model by removing the components in the null space as well as the low-energy components of the remaining signal. Our experimental results show that our method outperforms existing techniques in removing the information of the irrelevant attributes and maintaining the accuracy on the target label. We also show that our method reduces the communication cost and incurs only a small computational overhead.

연구 동기 및 목표

• 입력 데이터에 포함된 민감한 속성이 서버에 노출될 수 있는 엣지-서버 신경망 추론에서의 개인정보 泄露 문제를 해결하기 위해.
• 훈련 또는 추론 시 레이블이 부여된 민감한 속성이 필요하지 않은 비지도 왜곡 기법을 개발하기 위해.
• 목표 작업의 정확도를 유지하면서도 관련 없는 속성의 정보 유출을 최소화하기 위해.
• 엣지 디바이스의 통신 비용과 계산 오버헤드를 줄이기 위해.
• 실제 MLaaS 환경에서 볼 수 있는 새로운 또는 알 수 없는 민감한 속성에 적용 가능한 일반적인 솔루션을 제공하기 위해.

제안 방법

• 원본 특징과 왜곡된 특징 간의 상호정보량을 최소화하면서도 모델 출력에 대한 왜곡 제약 조건을 만족시키는 왜곡 문제를 수식화한다.
• 서버 모델의 첫 번째 레이어의 SVD를 활용하여 영공간 내부 및 저에너지 신호 성분을 식별하고 제거하는 분석적 해법을 도출한다.
• 영공간의 직교 컴플리먼트에 대한 투영과 저에너지 특이벡터의 잘라내기를 통해 왜곡을 적용한다.
• 민감한 레이블이나 적대 모델에 접근할 필요 없이 엣지 디바이스에서만 작동한다.
• 정보이론적 최적화 문제의 근사화를 통해 자원 제약이 있는 장치에서도 효율적이고 실시간으로 계산이 가능한 방법을 제공한다.
• 원본과 왜곡된 모델 출력 간의 차이를 기반으로 한 왜곡 제약 조건을 적용하여 목표 작업의 정확도를 유지한다.

실험 결과

연구 질문

• RQ1 민감한 속성에 대한 사전 지식 없이도 비지도 방법이 신경망 특징 내의 관련 없는 정보를 효과적으로 왜곡할 수 있는가?
• RQ2 적대적 훈련과 같은 지도 기반 기법과 비교해 볼 때 제안된 왜곡 기법은 개인정보 보호-정확도 트레이드오프에서 어떻게 성능을 내는가?
• RQ3 훈련 중에 볼 수 없었던 민감한 속성의 유출 정도는 어느 정도 감소하는가?
• RQ4 엣지 디바이스의 계산 능력이 왜곡 메커니즘의 성능에 어떤 영향을 미치는가?
• RQ5 다양한 데이터셋과 속성에 걸쳐 정보 유출을 최소화하면서도 높은 모델 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 적대적 훈련이 왜곡하지 못하는 새로운 민감한 속성(예: 메이크업, 립스틱)에 대해 공격 정확도를 더 낮게 유지하며, 지도 학습 기법보다 뛰어난 성능을 보였다.
• CelebA 데이터셋에서, 고도로 관련된 속성(예: 높은 턱뼈, 입 벌어짐)을 제외한 모든 숨겨진 속성에 대해 공격 정확도가 0.5 이하로 유의미하게 낮아졌다.
• 표현된 특징과 관련 없는 속성 간의 상호정보량을 줄이면서도 목표 작업 정확도를 유지했다(예: 미소 분류에서 95%의 정확도).
• 엣지 디바이스의 계산 능력이 증가할수록 동일한 목표 정확도에서 더 나은 왜곡 성능을 달성하여 기기 성능에 비례하는 확장성을 입증했다.
• 이 방법은 최소한의 계산 오버헤드를 유발하며, 오직 필수적인 왜곡된 특징만 전송함으로써 통신 비용을 줄였다.
• 비지도 특성 덕분에 민감한 속성이 알려지지 않았거나 동적으로 변화하는 실세계 환경에서도 뛰어난 성능을 발휘한다.