[논문 리뷰] A Tunable Measure for Information Leakage

Jiachun Liao, Oliver Kosut외 2명|arXiv (Cornell University)|2018. 06. 08.

Adversarial Robustness in Machine Learning참고 문헌 11인용 수 6

한 줄 요약

이 논문은 상관정보량(MI)과 최대 유출(MaxL)을 매개변수 α를 통해 보간함으로써 일반화하는 조정 가능한 정보 유출 측정법인 최대 α-유출을 소개한다. 이 측정법은 원본 데이터에서 공개된 데이터로부터 어떤 함수를 추론하는 데 있어 적대자의 이득을 측정하며, α는 적대자의 믿음 개선 전략을 제어한다. 또한 이 측정법이 입력 분포에 대해 아리모토 상관정보량의 Supremum과 동치임을 보여주며, 데이터 처리 및 조합 부등식과 같은 핵심 성질을 확립한다.

ABSTRACT

A tunable measure for information leakage called extit{maximal $α$-leakage} is introduced. This measure quantifies the maximal gain of an adversary in refining a tilted version of its prior belief of any (potentially random) function of a dataset conditioning on a disclosed dataset. The choice of $α$ determines the specific adversarial action ranging from refining a belief for $α=1$ to guessing the best posterior for $α= \infty$, and for these extremal values this measure simplifies to mutual information (MI) and maximal leakage (MaxL), respectively. For all other $α$ this measure is shown to be the Arimoto channel capacity. Several properties of this measure are proven including: (i) quasi-convexity in the mapping between the original and disclosed datasets; (ii) data processing inequalities; and (iii) a composition property.

연구 동기 및 목표

• 정보 유출을 측정하기 위해 상관정보량과 최대 유출을 하나의 조정 가능한 프레임워크로 통합하는 것.
• 부드러운 믿음 개선(MI)과 딱딱한 추측(MaxL) 사이를 보간하는 매개변수화된 손실 함수를 통해 적대자의 추론 능력을 모델링하는 것.
• 최대 α-유출이 아리모토 및 시브슨 상관정보량의 일반화임을 보장하여 극단적인 적대적 행동 사이의 연속적 보간을 가능하게 하는 것.
• 최대 α-유출이 준볼록성, 데이터 처리 부등식, 조합 성질과 같은 기본 성질을 만족함을 증명하는 것.

제안 방법

• 원본 데이터 X와 공개된 데이터 Y 사이의 아리모토 상관정보량(A-MI)을 매개변수 α로 파arameter화하여 α-유출을 정의한다.
• 최대 α-유출을 모든 입력 분포 P_X에 대해 A-MI의 Supremum으로 정의하여, 모든 가능한 데이터 분포에 걸친 최악의 경우 유출을 캡처한다.
• 레니의 발산과 레니의 엔트로피를 사용하여 이 측정법을 일반화된 정보이론적 양수로 표현한다.
• 최대 α-유출이 입력 분포에 대해 시브슨 상관정보량(S-MI)의 Supremum과 동치임을 증명한다.
• 마르코프 체인 X → Y₁ → Y₂를 분석하고 결과 식을 바ounds하여 데이터 처리 부등식이 만족됨을 증명한다.
• 다중 공개 데이터셋 Y₁과 Y₂로의 총 유출이 개별 유출의 합으로 유계임을 보여 조합 성질을 입증하며, 최적화를 통해 등호 조건을 도출한다.

실험 결과

연구 질문

• RQ1 상관정보량과 최대 유출가 하나의 연속적 프레임워크로 통합하여 중간 적대적 행동을 포괄할 수 있는가?
• RQ2 제안된 측정법의 매개변수 α는 믿음 개선(MI)과 딱딱한 추측(MaxL) 사이의 트레이드오프를 어떻게 제어하는가?
• RQ3 최대 α-유출은 아리모토 또는 시브슨 상관정보량과 같은 알려진 정보이론적 양수와 동치인가, 그리고 만약 그렇다면 어떤 조건에서 그러한 동치성이 성립하는가?
• RQ4 최대 α-유출은 데이터 처리 및 조합 부등식과 같은 기본 정보이론적 성질을 만족하는가?
• RQ5 조합 부등식이 정확히 어떤 조건에서 등호가 성립하는가?

주요 결과

• 최대 α-유출은 모든 입력 분포 P_X에 대해 아리모토 상관정보량(A-MI)의 Supremum과 동치이며, 직접적인 운영적 해석을 제공한다.
• α = 1일 때 최대 α-유출은 상관정보량(MI)으로 축소되고, α = ∞일 때는 최대 유출(MaxL)로 축소되며, 이는 두 극단 사이의 연속적 보간임을 확인한다.
• 이 측정법은 데이터 처리 부등식을 만족한다: X → Y₁ → Y₂가 마르코프 체인을 이룰 경우, X에서 Y₁, Y₂로의 유출은 X에서 Y₁로의 유출과 X에서 Y₂로의 유출의 합으로 유계이다.
• 조합 성질이 성립하며, X에서 다수의 공개 데이터셋 Y₁과 Y₂로의 총 유출은 개별 유출의 합으로 유계이며, 후행 분포에 대한 특정 조건에서 등호가 성립한다.
• 조합 부등식의 등호 조건은 두 번째 항을 최대화하는 최적의 y₁*가 존재하며, 후행 분포 P_X̃(x|y₁)가 두 번째 채널에 대한 최적의 입력 분포와 일치할 때 성립한다.
• α = 1과 α = ∞일 경우, 표준 상관정보량 및 MaxL 성질을 독립적으로 검증하여 전체 α 범위에서 일관성이 확인된다.