[논문 리뷰] Deletion-Robust Submodular Maximization at Scale

Ehsan Kazemi, Morteza Zadimoghaddam외 1명|arXiv (Cornell University)|2017. 11. 20.

Privacy-Preserving Technologies in Data참고 문헌 25인용 수 3

한 줄 요약

이 논문은 개인정보 또는 공정성 제약으로 인해 최대 d개의 악성 요소가 삭제될 경우에도 (1/2 − δ)-근사값을 달성할 수 있는, 메모리 효율적이고 확장 가능한 삭제 내성 서브모듈러 최적화 알고리즘을 처음으로 제안한다. 중심화된 환경과 스트리밍 환경에서는 (1/2 − δ)-근사값을, 분산 환경에서는 0.218 − δ의 근사값을 달성한다. 이 알고리즘들은 코어셋 구축과 내성적인 그레디언트 선택을 통해 개인정보 보호나 공정성 제약으로 인한 데이터 삭제 상황에서도 성능을 유지한다.

ABSTRACT

Can we efficiently extract useful information from a large user-generated dataset while protecting the privacy of the users and/or ensuring fairness in representation. We cast this problem as an instance of a deletion-robust submodular maximization where part of the data may be deleted due to privacy concerns or fairness criteria. We propose the first memory-efficient centralized, streaming, and distributed methods with constant-factor approximation guarantees against any number of adversarial deletions. We extensively evaluate the performance of our algorithms against prior state-of-the-art on real-world applications, including (i) Uber-pick up locations with location privacy constraints; (ii) feature selection with fairness constraints for income prediction and crime rate prediction; and (iii) robust to deletion summarization of census data, consisting of 2,458,285 feature vectors.

연구 동기 및 목표

• 개인정보나 공정성 문제로 인해 데이터 요소가 삭제될 경우 기존 서브모듈러 최적화 방법이 취약함을 해결한다.
• 사전에 삭제될 요소를 알지 못하더라도 최대 d개의 악성 요소가 삭제된 후에도 높은 유용성을 유지하는 알고리즘을 개발한다.
• 중앙집중형 및 스트리밍 모델에서는 (1/2 − δ)의 상수 요소 근사값 보장을 달성하고, 분산 모델에서는 0.218 − δ의 근사값 보장을 확보하며, 이는 d에 관계없이 유지된다.
• 메모리 사용량을 최소화하여 해답 크기가 d에 대해 비선형적으로 증가하도록 하여 대규모 데이터셋에서의 확장성을 확보한다.
• 실제 응용 분야에서의 실용성을 입증한다. 개인정보 보호 기반 데이터 요약 및 공정한 특성 선택에 적용 가능하다.

제안 방법

• 코어셋 구축을 통해 (1/2 − δ)-근사값을 유지하는 중심화된 알고리즘인 Robust-Centralized를 제안하며, 메모리 사용량은 O(k + d log k / δ²)이다.
• 스트리밍 환경에서 O(k log k / δ + d log²k / δ³)의 메모리 사용량을 가지며, 내성적인 그레디언트 선택을 통해 (1/2 − δ)-근사값을 달성하는 Robust-Streaming 알고리즘을 설계한다.
• m台의 머신을 사용하는 분산 환경에서 0.218 − δ 근사값을 달성하는 Robust-Distributed 알고리즘을 도입한다. 메모리 사용량은 O(m(k + d log k / δ²))이다.
• 메모리 최적화 버전인 Compact-Distributed을 제안하여 총 메모리 사용량을 O(k + d log k / δ²)로 줄이며, 0.109 − δ 근사값을 달성한다.
• 데이터 요약을 위해 유사도 기반 목적 함수를 사용한다: f(S) = ∑_{x∈S} ∑_{x'∈S, x'≠x} (1 − ||x−x'||/√68), 이는 쌍별 유사도를 모델링한다.
• 코어셋 기법을 적용하여 삭제가 발생하더라도 효과적인 대표 부분집합을 사전에 계산한다.

실험 결과

연구 질문

• RQ1 사전에 삭제될 요소를 알지 못하더라도, 임의의 d개의 악성 요소가 삭제된 후에도 효과적인 확장 가능한 서브모듈러 최적화 알고리즘을 설계할 수 있는가?
• RQ2 상수 요소 근사값 보장을 유지하면서도 삭제 내성 서브모듈러 최적화에서 메모리 사용량을 최소화할 수 있는가?
• RQ3 메모리에 모두 저장할 수 없을 정도로 큰 데이터에 대해 스트리밍 및 분산 환경에서도 내성적인 성능을 확보할 수 있는가?
• RQ4 민감하거나 편향된 특성이 제거될 경우, 삭제 내성 알고리즘의 성능이 표준 그레디언트 방법과 비교해 어떻게 되는가?
• RQ5 실제 응용 분야에서 개인정보 및 공정성 제약이 존재하는 상황에서 삭제 내성 알고리즘이 얼마나 높은 유용성을 유지할 수 있는가?

주요 결과

• Rob스트-Centralized와 Robust-Streaming는 d에 대해 로그 비례로 메모리가 증가하는 반면, 이전 방법들은 d에 대해 곱셈적으로 증가하므로, d에 대한 민감도가 훨씬 낮다.
• Uber 픽업 위치 데이터셋에서, 제안된 알고리즘은 위치 개인정보 보호 제약 하에서도 최신 기술보다 뛰어난 성능을 보이며, 최대 10%의 데이터 삭제 후에도 높은 유용성을 유지한다.
• 범죄율 예측 작업에서 중심화형 및 스트리밍 알고리즘이 각각 RMSE 0.163과 0.177을 달성하여, 사전에 삭제될 요소를 모른 채로도 표준 그레디언트 방법(RMSE 0.193)을 능가한다.
• Census1990 데이터셋(245만 개 샘플)에서 Robust-Distributed는 정규화된 목적 함수 값이 1.0을 초과하여, 사전에 삭제된 요소를 알고 있는 베이스라인보다도 뛰어난 성능을 보였다.
• 80%의 삭제가 발생한 상황에서도 분산 알고리즘은 평균 약 4,500개의 항목(1대당 약 450개)만 메모리에 저장하여 245만 개의 데이터 포인트를 요약함으로써, 높은 메모리 효율성을 입증했다.
• 랜덤 및 성별 기반 삭제 전략을 포함한 모든 삭제 전략에서 Robust-Distributed는 뛰어난 성능을 유지하였으며, 80%의 항목 삭제 상황에서도 내성성을 입증하였다.