[논문 리뷰] Denoising individual bias for a fairer binary submatrix detection

Changlin Wan, Wennan Chang외 3명|arXiv (Cornell University)|2020. 07. 31.

Face and Expression Recognition참고 문헌 6인용 수 4

한 줄 요약

이 논문은 이원 행렬의 이질적인 행 및 열 방향 배경 노이즈를 모델링함으로써 이원 하위행렬 탐지에서 공정성과 정확도를 향상시키는 디노이징 프레임워크 BIND를 제안한다. 패턴과 배경 확률의 혼합 분포를 추정함으로써, 배경 노이즈에서 기인할 가능성이 높은 속성을 식별하고 제거함으로써, 합성 및 실세계 데이터에서 최신의 BMF 및 공집합 클러스터링 방법의 성능을 크게 향상시킨다.

ABSTRACT

Low rank representation of binary matrix is powerful in disentangling sparse individual-attribute associations, and has received wide applications. Existing binary matrix factorization (BMF) or co-clustering (CC) methods often assume i.i.d background noise. However, this assumption could be easily violated in real data, where heterogeneous row- or column-wise probability of binary entries results in disparate element-wise background distribution, and paralyzes the rationality of existing methods. We propose a binary data denoising framework, namely BIND, which optimizes the detection of true patterns by estimating the row- or column-wise mixture distribution of patterns and disparate background, and eliminating the binary attributes that are more likely from the background. BIND is supported by thoroughly derived mathematical property of the row- and column-wise mixture distributions. Our experiment on synthetic and real-world data demonstrated BIND effectively removes background noise and drastically increases the fairness and accuracy of state-of-the arts BMF and CC methods.

연구 동기 및 목표

• 실세계 데이터에서 이질적이고 i.i.d.가 아닌 배경 노이즈로 인해 발생하는 이원 행렬 분해(BMF) 및 공집합 클러스터링(CC)의 공정성 문제를 해결한다.
• 진정한 기저 패턴이 아닌 개인 수준의 편향(예: 사용자 활동 또는 항목 인기도)으로 인한 것으로 보이는 이원 속성을 식별하고 제거한다.
• 기존의 BMF 및 CC 방법에 알고리즘 재현성 없이도 적용 가능한 일반화 가능한 디노이징 프레임워크를 개발한다.
• 이원 행렬에서 패턴과 배경 확률의 행 및 열 방향 혼합 분포에 대한 엄밀한 수학적 유도를 제공한다.

제안 방법

• 관측된 이원 행렬을 진정한 랭크-1 패턴, 행 및 열 방향 확률을 가진 이질적 배경 행렬, 그리고 i.i.d. 노이즈의 조합으로 모델링한다.
• 각 행과 열의 1의 마진 확률을 추정하여 경험 빈도를 사용해 배경 분포를 유추한다.
• 백그라운드에 비해 1의 비율이 높은 행과 열을 탐지하기 위해 분위수 기반 이동 함수를 적용함으로써 잠재적 진정한 패턴을 식별한다.
• 임계값 기반 메커니즘을 통해 고신호 행과 열을 선택하여, 후속 BMF 또는 CC 분석을 위한 디노이징된 하위행렬을 구성한다.
• 기존의 BMF 또는 CC 알고리즘에 적용 가능한 전처리 레이어로 디노이징 단계를 통합한다.
• 혼합 분포의 수학적 성질을 활용하여 디노이징 과정의 통계적 타당성을 정당화한다.

실험 결과

연구 질문

• RQ1 사용자 활동 또는 항목 인기도와 같은 개인 수준의 편향으로 인해 발생하는 이질적 배경 노이즈는 기존의 BMF 및 CC 방법의 공정성과 정확도에 어떤 영향을 미치는가?
• RQ2 i.i.d.가 아닌 배경 분포를 모델링하는 데이터 기반 디노이징 프레임워크는 이원 행렬에서 진정한 랭크-1 하위행렬을 탐지하는 데에 어떤 영향을 미칠 수 있는가?
• RQ3 제안된 BIND 프레임워크는 합성 및 실세계 데이터에서 최신의 BMF 및 CC 방법의 성능을 얼마나 향상시키는가?
• RQ4 이 프레임워크는 추천 시스템과 같은 실세계 응용 분야에서 더 나은 해석 가능성과 안정성을 어떻게 보장하는가?

주요 결과

• 합성 데이터 전반에 걸쳐, 비디노이징 기준선(τ=0)과 비교했을 때 BIND는 Jaccard 지수를 평균 2.6배 향상시켰다.
• LOM BMF 방법과 조합했을 때 BIND는 패턴 탐지에서 Jaccard 지수를 평균 7.5배 향상시켜 뚜렷한 정확도 향상을 입증했다.
• Biclust CC 방법과 함께 사용했을 때 BIND는 Jaccard 지수를 평균 2.6배 향상시켜 다양한 알고리즘 프레임워크 간 일관된 성능 향상을 확인했다.
• Movielens 데이터에서 디노이징된 영역(I¹)은 영화 카테고리 간 분산이 최소화되어 가장 안정적인 사용자 평가 행동을 보였으며, 더 일관되고 해석 가능한 사용자 선호도를 나타냈다.
• 고신호 영역(I¹)의 사용자들은 전체적으로 더 높은 활동을 보였지만 카테고리 다양성이 낮아 타겟 추천 가능성을 시사했다.
• 합성 및 실세계 환경 모두에서 패턴 복구 성능 향상과 거짓 긍정 감소를 통해, 이 프레임워크가 진정한 패턴을 배경 노이즈로부터 효과적으로 분리함을 입증했다.