[논문 리뷰] Adversarial Learning for Debiasing Knowledge Graph Embeddings

Mario Arduini, Lorenzo Noci외 4명|arXiv (Cornell University)|2020. 06. 29.

Advanced Graph Neural Networks참고 문헌 26인용 수 4

한 줄 요약

이 논문은 지식 그래프 임베딩에서 민감한 속성 정보—특히 성별 편향—를 제거하면서도 후행 작업의 유용성을 유지하는 새로운 적대적 프레임워크인 FAN(Filtering Adversarial Network)을 제안한다. FAN은 디스커미네이터와 함께 적대적으로 훈련되는 필터 네트워크를 사용하여 임베딩에서 성별 관련 신호를 추출하고 억제하며, 성별 예측 정확도를 거의 랜덤 수준으로 낮추면서도 다른 작업(예: 직업 예측)의 성능을 떨어뜨리지 않는다.

ABSTRACT

Knowledge Graphs (KG) are gaining increasing attention in both academia and industry. Despite their diverse benefits, recent research have identified social and cultural biases embedded in the representations learned from KGs. Such biases can have detrimental consequences on different population and minority groups as applications of KG begin to intersect and interact with social spheres. This paper aims at identifying and mitigating such biases in Knowledge Graph (KG) embeddings. As a first step, we explore popularity bias -- the relationship between node popularity and link prediction accuracy. In case of node2vec graph embeddings, we find that prediction accuracy of the embedding is negatively correlated with the degree of the node. However, in case of knowledge-graph embeddings (KGE), we observe an opposite trend. As a second step, we explore gender bias in KGE, and a careful examination of popular KGE algorithms suggest that sensitive attribute like the gender of a person can be predicted from the embedding. This implies that such biases in popular KGs is captured by the structural properties of the embedding. As a preliminary solution to debiasing KGs, we introduce a novel framework to filter out the sensitive attribute information from the KG embeddings, which we call FAN (Filtering Adversarial Network). We also suggest the applicability of FAN for debiasing other network embeddings which could be explored in future work.

연구 동기 및 목표

• 지식 그래프 임베딩(KGE)에 내재된 사회적·문화적 편향, 특히 성별 편향을 조사하고 완화하는 것.
• 네트워크 임베딩에서의 인기도 편향 존재 여부를 검토하고, 고도수 노드에서 링크 예측 정확도가 높은 KGE와의 대비를 분석하는 것.
• 성별 편향을 넘어서 다른 임베딩 유형에 적용 가능한 일반화 가능한 편향 제거 프레임워크를 개발하는 것.
• 명시적인 성별 관계가 제거된 후에도 지식 그래프 임베딩에서 성별과 같은 민감한 속성이 유추될 수 있음을 입증하는 것.
• FAN이 지식 그래프 내 고도수 및 저도수 엔티티 모두에서 성별 편향을 효과적으로 제거함을 검증하는 것.

제안 방법

• 최소화-최대화 설정에서 공동으로 훈련되는 필터 네트워크와 디스커미네이터 네트워크로 구성된 FAN을 제안한다.
• 필터 네트워크는 KGE에 대해 신뢰성 있는 매핑을 학습하고, 디스커미네이터는 임베딩에서 성별을 예측하려고 시도한다.
• 필터 및 디스커미네이터 구성 요소 모두에 Leaky ReLU와 드롭아웃(0.5)을 적용한 다층 퍼셉트론(MLP)을 사용한다.
• 학습 안정성을 위해 디스커미네이터의 5단계마다 필터를 업데이트함으로써 적대적 훈련을 시작한다.
• 사전 훈련된 필터를 적용하여 편향 제거된 임베딩을 생성한 후, 필터링된 임베딩에서 성별 및 직업 예측 성능을 평가한다.
• 성능 저하와 편향 제거 효과를 측정하기 위해 교차 검증 평가를 사용한다.

실험 결과

연구 질문

• RQ1 명시적인 성별 관계가 지식 그래프에서 제거된 후에도 KGE에 성별 정보가 얼마나 잘 포함되어 있는가?
• RQ2 KGE의 링크 예측 정확도는 노드의 도수와 어떤 관련이 있으며, node2vec과 같은 네트워크 임베딩과 비교해 볼 때 어떻게 다를까?
• RQ3 적대적 필터링 프레임워크가 성별 편향을 효과적으로 제거하면서도 민감하지 않은 후행 작업의 성능을 떨어뜨리지 않을 수 있는가?
• RQ4 편향 제거 프레임워크 FAN은 다양한 KGE 알고리즘과 노드 도수 분포에 일반화 가능한가?
• RQ5 KGE의 성별 편향은 명시적 관계가 아닌 임베딩 공간의 구조적 특성 탓인가?

주요 결과

• TransE, TransD, TransH의 KGE에서조차도 명시적인 성별 관계가 제거된 후에도 성별 정보가 매우 예측 가능함을 확인하여, 편향이 구조적으로 임베딩에 내재되어 있음을 시사한다.
• KGE에서 링크 예측 정확도는 노드 도수와 정적 상관관계를 보이며, node2vec과 같은 네트워크 임베딩과는 대조적으로 고도수 노드에서 더 높은 정확도를 보임—이는 KGE에 고유한 인기도 편향이 있음을 시사한다.
• FAN은 고도수 및 저도수 노드 모두에서 성별 예측 정확도를 약 50% 수준(거의 랜덤 수준)으로 낮추어 효과적인 편향 제거를 입증한다.
• 직업 예측 성능는 필터링 후에도 안정적으로 유지되어 FAN이 민감하지 않은 작업의 유용성을 유지함을 확인한다.
• 적대적 훈련 방식이 임베딩의 표현 품질을 손상시키지 않고도 성별 관련 신호를 효과적으로 억제함을 입증한다.
• FAN은 성별 편향을 넘어서 다른 민감한 속성에 대한 편향 제거에 적용 가능하며, 향후 다른 네트워크 임베딩 프레임워크로도 확장 가능하다.