[논문 리뷰] On Addressing Efficiency Concerns in Privacy Preserving Data Mining

Shipra Agrawal, Vijay Krishnan외 1명|arXiv (Cornell University)|2003. 10. 17.

Imbalanced Data Classification Techniques참고 문헌 10인용 수 5

한 줄 요약

이 논문은 기호별 왜곡 파rameter와 대상 최적화를 사용하여 데이터 왜곡의 런타임 오버헤드를 줄이는 데 중점을 둔 프라이버시 보장 연관 규칙 추출을 위한 최적화 알고리즘 EMASK를 제안한다. 왜곡 파rameter를 철저히 조정하고, 카운팅 오버헤드를 데이터베이스 스캔의 끝으로 이동시킴으로써 EMASK는 표준 Apriori의 5배 이내 성능을 달성하면서도 높은 프라이버시(100점 중 70점 이상)와 정확도(100점 중 80점 이상)를 유지한다.

ABSTRACT

Data mining services require accurate input data for their results to be meaningful, but privacy concerns may influence users to provide spurious information. To encourage users to provide correct inputs, we recently proposed a data distortion scheme for association rule mining that simultaneously provides both privacy to the user and accuracy in the mining results. However, mining the distorted database can be orders of magnitude more time-consuming as compared to mining the original database. In this paper, we address this issue and demonstrate that by (a) generalizing the distortion process to perform symbol-specific distortion, (b) appropriately choosing the distortion parameters, and (c) applying a variety of optimizations in the reconstruction process, runtime efficiencies that are well within an order of magnitude of undistorted mining can be achieved.

연구 동기 및 목표

• 왜곡된 데이터 추출이 직접 추출에 비해 수십 수백 배 이상 느린, 프라이버시 보장 데이터 마이닝에서의 핵심 성능 저하 요인을 해결한다.
• 프라이버시와 정확도를 보장함에도 불구하고 실행 시간 비용이 지나치게 높아 실용성이 떨어지는 이전 기법들(예: MASK)의 비효율성을 극복한다.
• 연관 규칙 추출에서 높은 프라이버시, 높은 정확도, 수용 가능한 런타임 효율성을 동시에 달성하는 새로운 알고리즘을 설계한다.
• 원래 데이터 항목이 규칙 기반으로 재식별 가능한지를 고려하는 새로운 프라이버시 개념인 '재질문 프라이버시(reinterrogated privacy)'를 도입하고 평가한다.
• 실제 응용에서 프라이버시 보장 추출을 가능하게 하기 위한 실용적인 파rameter 추정 공식과 최적화 기법을 제공한다.

제안 방법

• MASK의 왜곡 과정을 일반화하여, 거래 내 1(항목 존재)과 0(항목 부재)에 대해 각각 다른 파rameter를 사용하는 기호별 왜곡을 수행한다.
• 프라이버시, 정확도, 효율성을 균형 잡는 데 최적의 왜곡 파rameter(p 및 q)를 추정하기 위한 분석 공식을 유도한다.
• 모든 왜곡에 따른 추가 카운팅을 각 데이터베이스 스캔의 끝으로 이관하여 런타임 오버헤드를 최소화하는 방식으로 마이닝 프로세스를 재구성한다.
• 특히 밀도가 높은 데이터베이스에서 빈번한 항목집합 생성 과정에서의 중복 계산을 줄이는 최적화 기법을 적용한다.
• 원래 데이터 항목이 규칙 기반으로 재식별 가능한지를 고려하는 새로운 프라이버시 메트릭인 '재질문 프라이버시'를 도입한다.
• 합성 및 실세계 데이터셋을 사용하여 다양한 파rameter 설정 하에서 런타임, 프라이버시, 정확도를 측정함으로써 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 프라이버시 보장 연관 규칙 추출의 런타임 오버헤드를 표준 추출의 수준으로 줄일 수 있는가?
• RQ2 기호별 왜곡에 적합한 파arameter 설정은 프라이버시, 정확도, 효율성 간의 최적 균형을 어떻게 달성하는가?
• RQ3 규칙을 사용해 왜곡된 데이터를 탐색하는 '재질문 프라이버시'는 전체 프라이버시 보장에 어떤 영향을 미치는가?
• RQ4 데이터베이스 스캔의 끝으로 카운팅 오버헤드를 이관하는 최적화 전략이 마이닝 성능을 크게 향상시킬 수 있는가?
• RQ5 다양한 데이터셋에서 높은 프라이버시, 높은 정확도, 수용 가능한 효율성이 동시에 유지되는 안정적인 '기회 창(window of opportunity)'이 존재하는가?

주요 결과

• EMASK는 실세계 데이터셋에서 표준 Apriori 대비 런타임을 5배 이내로 줄여, 이전의 100~1000배에서 5배로 오버헤드를 감소시켰다.
• 왜곡 파arameter p=0.4 및 q=0.98 설정 시, 실세계 데이터셋에서 100점 중 70점 이상의 프라이버시와 100점 중 80점 이상의 정확도를 달성하여 세 목표의 타당한 균형을 확보했다.
• 합성 데이터셋 실험 결과, 프라이버시와 정확도는 파arameter 설정, 특히 q에 매우 민감하며, q=0.99일 경우 더 긴 항목집합으로 인해 정확도의 변동성이 커졌다.
• 실세계 데이터셋에서는 더 높은 런타임 저하(약 15~30배)가 있었지만, 프라이버시와 정확도는 여전히 강력했으며, 데이터의 희소성 덕분에 일부 비효율성이 완화되었다.
• 왜곡 파arameter 추정 공식은 프라이버시, 정확도, 효율성이 모두 최대화되는 최적의 '기회 창'을 효과적으로 식별하는 데 성공했다.
• 재질문 프라이버시 모델은 최적 파arameter 설정 하에서 규칙 기반 탐색이 이루어져도 프라이버시 보장이 강력하게 유지됨을 보여주며, 이는 접근 방식의 강건성을 검증한다.