[논문 리뷰] Online and Differentially-Private Tensor Decomposition

Yining Wang, Animashree Anandkumar|arXiv (Cornell University)|2016. 06. 20.

Tensor decomposition and applications인용 수 13

한 줄 요약

이 논문은 노이즈 캘리브레이션 텐서 파wer 방법을 사용하여, 선형 메모리 사용과 강력한 프라이버시 보장을 달성하는 최초의 온라인 및 차별적 프라이버시 보장 텐서 분해 알고리즘을 제안한다. 비선형성 가정 하에 프라이버시 파라미터가 텐서 차원에 다항적으로 의존하지 않음을 보여주는 첫 이론적 분석을 제공하며, 이는 이전 작업에 비해 노이즈 내성 능력을 크게 향상시킨다.

ABSTRACT

In this paper, we resolve many of the key algorithmic questions regarding robustness, memory efficiency, and differential privacy of tensor decomposition. We propose simple variants of the tensor power method which enjoy these strong properties. We present the first guarantees for online tensor power method which has a linear memory requirement. Moreover, we present a noise calibrated tensor power method with efficient privacy guarantees. At the heart of all these guarantees lies a careful perturbation analysis derived in this paper which improves up on the existing results significantly.

연구 동기 및 목표

• 대규모 데이터를 위한 강력하고 메모리 효율적이며 프라이버시 보장이 되는 텐서 분해 알고리즘이 부족한 문제를 해결한다.
• 전체 텐서를 명시적으로 구성하지 않음으로써, 선형 메모리 사용을 유지하면서 온라인 텐서 분해를 가능하게 한다.
• utility 유지 조건 하에서 텐서 분해에 대한 차별적 프라이버시 보장을 제공하는 최초의 사례이다.
• 정교한 편향 분석을 통해 텐서 파워 방법의 노이즈 내성 능력을 향상시킨다.
• 자연스러운 비일관성 가정 하에 프라이버시 파라미터가 텐서 차원에 독립적이도록 보장한다.

제안 방법

• d차원 텐서에 대해 O(d)의 메모리로만 유지되는 온라인 텐서 파워 방법을 제안하여, 전체 텐서를 형성하지 않고 데이터 스트림을 처리한다.
• 프라이버시를 유지하면서 복구 정확도를 유지할 수 있도록 노이즈를 적절히 캘리브레이션하는 텐서 파워 방법을 도입한다.
• 기존 작업에 비해 노이즈 내성 범위를 크게 향상시킨 새로운 편향 분석을 유도한다.
• 텐서 비일관성 가정을 사용하여, 프라이버시 파라미터가 차원 d에 다항적으로 의존하지 않음을 보여준다.
• i.i.d. 데이터 샘플로부터 점진적으로 텐서 성분을 계산하기 위해 온라인 스토하스틱 업데이트를 활용한다.
• 웨딘의 정리와 행렬 편향 경계를 활용하여 노이즈 하에서 성분 복구를 분석한다.

실험 결과

연구 질문

• RQ1 선형 메모리 사용 조건 하에서 스트리밍 환경에서 효율적인 텐서 분해가 가능한가?
• RQ2 utility 손실 없이 또는 차원에 다항적 의존 없이 텐서 분해에서 차별적 프라이버시를 달성할 수 있는가?
• RQ3 텐서 파워 방법은 얼마나 많은 노이즈를 견딜 수 있으며 여전히 성분을 정확하게 복구할 수 있는가?
• RQ4 노이즈 하에서 안정적인 텐서 성분 복구를 위해 필요한 최소 및 충분한 편향 경계는 무엇인가?
• RQ5 전체 텐서 저장이나 지수적 계산이 필요 없이도 프라이버시 보장을 유지할 수 있는가?

주요 결과

• 온라인 텐서 파워 방법은 n개의 샘플을 가진 랭크-k 텐서에 대해 O(dk)의 메모리 사용과 Õ(nk²d)의 시간 복잡도를 달성한다.
• 제안된 노이즈 캘리브레이션 방법은 비일관성 조건 하에서 텐서 차원 d에 독립적인 프라이버시 파라미터를 갖는 텐서 분해에 대해 최초로 차별적 프라이버시 보장을 제공한다.
• 편향 분석을 통해 노이즈 내성 경계가 크게 향상되어 이전 방법보다 훨씬 높은 노이즈 수준에서도 복구가 가능해졌다.
• 텐서 비일관성과 노이즈 분포에 대한 온건한 가정 하에, 높은 확률로 텐서 성분이 정확히 복구됨을 보장한다.
• 샘플 복잡도 분석을 통해 Õ(nk²d)의 시간과 O(dk)의 메모리로 효율적인 수렴이 가능하며, 이는 대규모 스트리밍 데이터에 적합하다.
• 이론적 보장은 노이즈가 차별적 프라이버시를 통해 추가된 경우에도 유지되며, 이는 프라이버시와 유틸리티를 동시에 보장한다.