[논문 리뷰] Use Privacy in Data-Driven Systems: Theory and Experiments with Machine Learnt Programs

Anupam Datta, Matt Fredrikson외 3명|arXiv (Cornell University)|2017. 05. 22.

Privacy-Preserving Technologies in Data참고 문헌 46인용 수 6

한 줄 요약

이 논문은 기계학습 모델에서 민감한 속성(예: 임신 여부 또는 건강 상태)의 프록시(강력한 예측자)가 의사결정에 사용되는 경우를 탐지하고 완화하기 위한 형식 이론과 실용적 프레임워크를 제안한다. 화이트박스 프로그램 분석을 통해 국소화된 프록시 사용의 증거를 식별하고, 법적 및 윤리적 기준에 기반한 규범적 판단 오라클을 통해 부적절한 사용 여부를 판단한 후, 모델 정확도를 유지하면서 그러한 사용을 제거하는 복구 알고리즘을 적용한다. 이는 사회적 데이터셋을 대상으로 검증되었다.

ABSTRACT

This paper presents an approach to formalizing and enforcing a class of use privacy properties in data-driven systems. In contrast to prior work, we focus on use restrictions on proxies (i.e. strong predictors) of protected information types. Our definition relates proxy use to intermediate computations that occur in a program, and identify two essential properties that characterize this behavior: 1) its result is strongly associated with the protected information type in question, and 2) it is likely to causally affect the final output of the program. For a specific instantiation of this definition, we present a program analysis technique that detects instances of proxy use in a model, and provides a witness that identifies which parts of the corresponding program exhibit the behavior. Recognizing that not all instances of proxy use of a protected information type are inappropriate, we make use of a normative judgment oracle that makes this inappropriateness determination for a given witness. Our repair algorithm uses the witness of an inappropriate proxy use to transform the model into one that provably does not exhibit proxy use, while avoiding changes that unduly affect classification accuracy. Using a corpus of social datasets, our evaluation shows that these algorithms are able to detect proxy use instances that would be difficult to find using existing techniques, and subsequently remove them while maintaining acceptable classification performance.

연구 동기 및 목표

• 직접적인 보호 정보 사용을 초월하여 데이터 기반 시스템에서 사용 개인정보 보호를 형식화하는 것 — 특히 보호된 속성이 직접 사용되지 않고 강력한 예측자(프록시)를 통해 유추되는 경우에 초점 맞춤.
• 모델의 특정 코드 세그먼트로 국소화된 프록시 사용을 탐지하기 위해 화이트박스 프로그램 분석을 통해 기계학습 모델 내 프록시 사용 사례를 식별하는 것.
• 법적 및 윤리적 기준에 기반한 맥락적 요소와 정책 제약 조건을 고려해, 탐지된 프록시 사용이 윤리적 또는 법적으로 부적절한지 판단하기 위한 규범적 판단 오라클을 도입하는 것.
• 모델 유틸리티와 분류 성능를 유지하면서도 부적절한 프록시 사용을 제거하는 복구 알고리즘 개발.
• 실제 사회 데이터셋을 대상으로 접근법을 평가하여, 이전 기법들이 놓쳤던 미세한 프록시 사용을 탐지함을 보여주는 것.

제안 방법

• 논문은 프록시 사용을 보호된 속성과 강하게 연관되어 있으며 모델의 최종 출력에 인과적으로 영향을 주는 계산으로 정의한다.
• 모델의 계산 그래프를 순회하는 화이트박스 정적 분석 기법을 도입하여 이러한 프록시 사용을 탐지하고, 관련 프로그램 구성 요소를 식별하는 증거(witness)를 생성한다.
• 규범적 판단 오라클은 맥락적 요소와 정책 제약 조건을 기반으로 탐지된 프록시 사용이 윤리적 또는 법적으로 부적절한지 평가한다.
• 복구 알고리즘은 증거에 연결된 가중치나 특징을 변형하여 프록시 사용을 제거하면서 정확도 손실를 최소화하는 방식으로 모델을 수정한다.
• 복구를 이끌고 고위험 위반 사항을 우선순위 정렬하기 위해 정량적 개인정보 보호 메트릭(ε, δ)을 사용하며, 이는 차별적 프라이버시 파rameter와 유사하다.
• 평가에서는 사회적 데이터 코퍼스를 대상으로 기준 기법과의 비교를 통해 탐지 및 복구 성능을 평가한다.

실험 결과

연구 질문

• RQ1 데이터 기반 시스템에서 보호 정보의 프록시 사용을 어떻게 형식화할 수 있는가? 특히 보호된 속성이 직접 사용되지 않고 강력한 예측자들을 통해 유추되는 경우에 대해.
• RQ2 기계학습 모델 내에서 프록시 사용을 효과적으로 탐지하고, 증거(witness)를 통해 특정 구성 요소로 국소화할 수 있는 프로그램 분석 기법은 무엇인가?
• RQ3 규범적 판단 오라클은 탐지된 프록시 사용 사례가 윤리적 또는 법적으로 부적절한지 어떻게 판단할 수 있는가?
• RQ4 복구 알고리즘이 모델 정확도나 유틸리티를 떨어뜨리지 않으면서 프록시 사용을 얼마나 효과적으로 제거할 수 있는가?
• RQ5 제안된 방법은 기존 기법들과 비교해 실세계 데이터셋에서 미세하거나 간접적인 프록시 사용을 탐지하는 데 얼마나 우수한가?

주요 결과

• 제안된 탐지 방법은 기존의_BLK박스 또는 히우리스틱 기반 접근법으로는 어려움 또는 불가능한 기계학습 모델 내 프록시 사용 사례를 성공적으로 식별한다.
• 증거 생성 기능은 프록시 사용을 특정 모델 구성 요소로 국소화하여 정밀한 복구와 투명성을 가능하게 한다.
• 모든 테스트 케이스에서 복구 알고리즘이 프록시 사용을 0으로 줄였으며, 분류 정확도는 수용 가능한 범위 내에서 유지되어 실용적 타당성을 입증한다.
• 사회적 데이터셋에 대한 평가 결과, 검색 행동과 같은 간접적 신호를 통해 임신 상태나 건강 상태와 같은 민감한 속성과 관련된 프록시 사용을 탐지함을 확인했다.
• 규범적 판단 오라클은 맥락 인식 결정을 가능하게 하여 윤리적으로 정당한 프록시 사용과 부적절한 사용을 구분함으로써 개인정보 보호 규정 준수를 지원한다.
• 이 프레임워크는 신뢰할 수 있는 환경에서 기계학습 모델의 감사 가능성을 보장하며, 헬스케어 및 금융과 같은 규제 분야에서의 사용 개인정보 보호 제약 준수를 지원한다.