[논문 리뷰] Synthetic Attribute Data for Evaluating Consumer-side Fairness

Robin Burke, Jackson Kontny외 1명|arXiv (Cornell University)|2018. 09. 12.

Ethics and Social Impacts of AI참고 문헌 5인용 수 5

한 줄 요약

이 논문은 소비자 측의 공정성 평가를 위한 추천 시스템에서 합성 인구통계적 특성을 생성하기 위해 주파수 연관 특성 생성(Frequency-Linked Attribute Generation, FLAG) 알고리즘을 도입한다. 그룹 소속 확률을 사용자 프로필 길이에 따라 힘의 법칙 분포를 통해 연결함으로써, FLAG는 사용자 익명성을 유지하면서도 공정성 메트릭을 통제 가능한 실험으로 가능하게 한다. XING 및 MovieLens 데이터셋을 바탕으로 한 실험을 통해 실제와 유사한 인구통계-행동 연관성을 입증하였다.

ABSTRACT

When evaluating recommender systems for their fairness, it may be necessary to make use of demographic attributes, which are personally sensitive and usually excluded from publicly-available data sets. In addition, these attributes are fixed and therefore it is not possible to experiment with different distributions using the same data. In this paper, we describe the Frequency-Linked Attribute Generation (FLAG) algorithm, and show its applicability for assigning synthetic demographic attributes to recommendation data sets.

연구 동기 및 목표

• 추천 데이터셋에서 공개 가능한 인구통계적 특성이 부족한 문제를 해결하기 위해, 이는 소비자 측 공정성 평가에 필수적이다.
• 공정성 인식 추천 연구에서 다양한 그룹 규모 비율과 행동 프로파일을 통제 가능한 실험으로 가능하게 하기 위해.
• 실제 인구통계 분포를 모방하면서도 사용자 탈식별 위험을 초래하지 않는 합성 특성을 생성하기 위해.
• 프로필 길이와 같은 사용자 행동과 관련된 이진 레이블(A/B)을 할당할 수 있는 방법을 제공하여 보호 그룹과 비보호 그룹을 시뮬레이션하기 위해.
• 행위적으로 타당한 비추론적 레이블링 메커니즘을 사용함으로써 개인정보 보호와 외부 타당성 사이의 균형을 이루기 위해.

제안 방법

• FLAG는 사용자 프로필 길이에 기반하여 그룹 소속 확률을 할당하며, 이는 매개수 α를 통해 비대칭성을 제어하는 힘의 법칙 분포로 모델링된다.
• 그룹 B에 속할 확률은 f_B(i) = 1 / i^α로 정의되며, 여기서 i는 사용자의 프로필 크기이다.
• 그룹 B의 예상 크기를 총 사용자 인구수 대비 조절하기 위해 스케일링 매개수 β를 도입한다.
• 최종 소속 확률는 f_B(i)를 균일하게 스케일링하여 E(|B|) = β|U|가 되도록 하여, 원하는 그룹 비율을 충족시킨다.
• 스케일링된 분포를 사용하여 확률적으로 레이블을 할당함으로써 모든 사용자가 어느 그룹에도 속할 가능성이 비영일 확보된다.
• 실제 인구통계 데이터를 사용하지 않고 프로필 길이만을 행동적 대체지표로 사용함으로써, 실제 인구통계 정체성을 유추하지 않아도 된다.

실험 결과

연구 질문

• RQ1 사용자 익명성을 유지하면서도 추천 시스템의 공정성 평가를 가능하게 하기 위해 합성 인구통계적 특성을 어떻게 생성할 수 있는가?
• RQ2 합성 데이터에서 그룹 규모 비율과 행동 프로파일을 어떻게 통제하여 다양한 공정성 시나리오를 시뮬레이션할 수 있는가?
• RQ3 합성 특성 분포가 실제 사용자 데이터의 인구통계-행동 패턴과 어느 정도 상관이 있는가?
• RQ4 FLAG 방법이 실제 인구통계 정체성과의 연결을 피하기 때문에 탈식별 위험을 방지하는가?
• RQ5 합성 특성이 공정성 평가에서 실제 인구통계적 특성에 대한 타당한 대체자로 사용될 수 있는가?

주요 결과

• FLAG 알고리즘은 사용자 프로필 길이에 확률적으로 연관된 합성 인구통계적 특성을 성공적으로 생성하여 통제 가능한 공정성 실험을 가능하게 하였다.
• β 매개수를 통해 그룹 규모 비율을 조정할 수 있어 보호 그룹과 비보호 그룹의 비율을 다양한 비율로 시뮬레이션할 수 있었다.
• 알고리즘은 실제 인구통계 정체성을 유추하거나 폭 lộ하지 않기 때문에 사용자 익명성을 유지한다. 오직 프로필 크기를 기반으로 합성 레이블만 할당한다.
• XING 데이터셋에 대한 실증 평가에서 프로필 길이가 지수 1.45를 가진 힘의 법칙 분포를 따르는 것으로 나타나, 모델의 가정을 지지하는 결과를 얻었다.
• MovieLens 데이터셋에서는 FLAG가 생성한 레이블이 프로필 길이와 유사한 인구통계적 행동 간의 통계적으로 타당한 연관성을 재현하여, 일부 맥락에서 외부 타당성을 보여주었다.
• 실제 인구통계와 관련된 다차원적 행동 차이(예: 장르 선호도)를 반영하지 못함으로써, 복잡한 사용자 행동을 모델링하는 데에는 한계가 있음을 시사한다.