[논문 리뷰] Measuring Social Bias in Knowledge Graph Embeddings

Joseph B. Fisher, Dave Palfrey외 2명|arXiv (Cornell University)|2019. 12. 05.

Misinformation and Its Impacts참고 문헌 24인용 수 10

한 줄 요약

이 논문은 지식 그래프 임베딩에서의 사회적 편향에 대한 첫 번째 연구를 제시하며, 전문직과 성별, 인종, 국적 간의 임베딩 유사도를 비교하여 편향을 측정하는 새로운 지표를 제안한다. 이는 위키데이터와 프리베이스의 임베딩이 남성이 은행원과 더 강하게 연관되고 여성이 가정주부와 더 강하게 연관되는 등의 해로운 스테레오타입을 포함하고 있음을 보여주며, 지식 그래프 임베딩을 사용하는 후속 NLP 응용 분야에서 편향 완화의 필요성을 강조한다.

ABSTRACT

It has recently been shown that word embeddings encode social biases, with a harmful impact on downstream tasks. However, to this point there has been no similar work done in the field of graph embeddings. We present the first study on social bias in knowledge graph embeddings, and propose a new metric suitable for measuring such bias. We conduct experiments on Wikidata and Freebase, and show that, as with word embeddings, harmful social biases related to professions are encoded in the embeddings with respect to gender, religion, ethnicity and nationality. For example, graph embeddings encode the information that men are more likely to be bankers, and women more likely to be homekeepers. As graph embeddings become increasingly utilized, we suggest that it is important the existence of such biases are understood and steps taken to mitigate their impact.

연구 동기 및 목표

• 지식 그래프 임베딩이 단어 임베딩과 유사한 방식으로 사회적 편향을 인코딩하는지 조사하기.
• 기존의 단어 임베딩 편향 지표(예: WEAT)가 지식 그래프 임베딩에 적용될 때의 한계를 규명하기.
• 임베딩 미세조정과 유사도 비교를 활용하여 지식 그래프 임베딩의 편향을 측정할 수 있는 새로운 적용 가능한 방법 개발하기.
• 실제 지식 그래프에서의 편향 분포(예: 남성 은행원이 더 많음)가 임베딩에 스테레오타입으로 인코딩됨을 경험적으로 입증하기.
• 이러한 편향이 후속 NLP 작업에서 잠재적인 해로움을 초래할 수 있음을 인식시키고, 편향 제거 방법의 필요성을 주장하기.

제안 방법

• 성별 또는 인구통계적 특성 속성 임베딩과의 평균 유사도를 비교하는 방식으로, 전문직 임베딩의 편향 측정 프레임워크 제안.
• 감성적 속성 카테고리와의 일치를 위해 엔티티 임베딩을 정렬하는 미세조정 방법을 사용하여, 임베딩 방향 간의 의미 있는 비교 가능하게 하기.
• 특정 전문직 임베딩과 인구집단(예: 남성 또는 여성)의 평균 임베딩 간의 코사인 유사도를 계산하는 점수 함수 정의.
• 위키데이터와 프리베이스에서 훈련된 TransE 및 ComplEx 임베딩에 이 방법을 적용하며, 200차원 벡터와 음성 샘플링을 사용한 교차 엔트로피 손실 사용.
• 특정 전문직과 두 인구집단(예: 남성 대비 여성) 간의 평균 유사도 차이를 편향 점수로 계산하며, 높은 점수는 더 강한 편향을 의미함.
• 그룹 간 엔티티 수의 차이를 고려하기 위해 정규화된 지표를 사용하여 희소성과 비대칭 분포에 대한 강건성을 확보함.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩은 단어 임베딩과 동일한 방식으로 성별, 인종, 민족, 국적과 관련된 사회적 편향을 인코딩하는가?
• RQ2 기존의 단어 임베딩 편향 지표(예: WEAT)가 왜 지식 그래프 임베딩에 부적합한가?
• RQ3 임베딩 미세조정과 유사도 비교를 활용하여 지식 그래프 임베딩의 편향을 효과적으로 측정할 수 있는 새로운 지표를 개발할 수 있는가?
• RQ4 실제 세계의 지식 그래프 데이터에서의 불균형(예: 남성 전문직이 여성보다 더 많음)이 얼마나 임베딩의 편향을 초래하는가?
• RQ5 다른 임베딩 모델들(예: TransE 대비 ComplEx)은 이러한 편향을 어떻게 다르게 인코딩하는가?

주요 결과

• 위키데이터와 프리베이스의 지식 그래프 임베딩은 성별, 종교, 민족, 국적과 관련된 해로운 사회적 편향을 포함하고 있으며, 특히 전문직 연관성에서 두드러짐.
• 남성은 은행원과 형사와 더 강하게 연관되어 있고, 여성은 주부와 모델과 더 강하게 연관되어 있으며, 두 데이터셋 모두에서 높은 양의 편향 점수로 이를 확인함.
• 프리베이스에서는 'assn. football player'(협회 소속 축구선수) 직업이 남성 편향 점수 13,321, 여성 편향 점수 227을 기록하여 강한 성별 불균형이 인코딩되어 있음을 나타냄.
• 수녀와 그라브어 아이돌 같은 직업은 각각 41과 62의 극단적인 여성 편향 점수를 보이며, 스테레오타입 성별 역할을 반영함.
• 제안된 지표는 ComplEx와 같이 복잡한 모델에서도 가장 성별에 치우친 전문직을 성공적으로 식별함. 이는 WEAT가 적용 불가능한 상황에서도 유효함.
• 이 연구는 실세계 지식 그래프의 데이터 불균형이 직접적으로 편향된 임베딩으로 이어짐을 확인하며, 공정한 NLP 시스템을 위해 편향 제거가 필수적임을 입증함.