[논문 리뷰] Adversarial Crowdsourcing Through Robust Rank-One Matrix Completion

Qianqian Ma, Alex Olshevsky|arXiv (Cornell University)|2020. 10. 23.

Mobile Crowdsensing and Crowdsourcing참고 문헌 33인용 수 14

한 줄 요약

이 논문은 부분적으로 관측된, 임의로 손상된 요소들로부터 랭크-1 행렬을 복원하기 위해 교대 최소화와 극값 필터링을 결합한 강건한 랭크-1 행렬 완성 알고리즘을 제안한다. 이 방법은 에르되시-레니 무작위 샘플링 하에서 증명 가능한 최적성을 확보하며, 일부 작업자가 의도적으로 잘못된 레이블을 제공하는 악성 커스터마이징 환경에서 최신 기술보다 뚜렷하게 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of reconstructing a rank-one matrix from a revealed subset of its entries when some of the revealed entries are corrupted with perturbations that are unknown and can be arbitrarily large. It is not known which revealed entries are corrupted. We propose a new algorithm combining alternating minimization with extreme-value filtering and provide sufficient and necessary conditions to recover the original rank-one matrix. In particular, we show that our proposed algorithm is optimal when the set of revealed entries is given by an Erdős-Rényi random graph. These results are then applied to the problem of classification from crowdsourced data under the assumption that while the majority of the workers are governed by the standard single-coin David-Skene model (i.e., they output the correct answer with a certain probability), some of the workers can deviate arbitrarily from this model. In particular, the "adversarial" workers could even make decisions designed to make the algorithm output an incorrect answer. Extensive experimental results show our algorithm for this problem, based on rank-one matrix completion with perturbations, outperforms all other state-of-the-art methods in such an adversarial scenario.

연구 동기 및 목표

• 관측된 일부 요소가 임의로 손상되었고, 손상된 위치가 알려져 있지 않은 상황에서 랭크-1 행렬을 복원하는 문제에 대응하기 위해.
• 특히 악성 손상이 존재하는 상황에서 무작위 샘플링 하에서 강건한 랭크-1 행렬 완성에 대해 증명 가능한 최적 알고리즘을 개발하기 위해.
• 작업자가 일부 악성으로 행동할 수 있는 커스터마이징 분류에 이 방법을 적용하기 위해.
• 엄격한 이론적 분석과 실험적 평가를 통해 존재하는 최신 기술보다 악성 환경에서 뛰어난 성능을 내기 위해.

제안 방법

• 알고리즘은 교대 최소화를 사용해 반복적으로 랭크-1 요인을 추정하고, 극값 필터링을 통해 손상된 요소를 식별하고 가중치를 낮춘다.
• 손상 위치를 사전에 알지 못하더라도 잔차의 분포를 기반으로 한 필터링 메커니즘을 도입하여 이상치를 탐지한다.
• 이론적 분석을 통해 에르되시-레니 무작위 샘플링 하에서 정확한 복원을 위한 충분하고 필수 조건을 확립한다.
• 서브그래프에 보조 노드를 추가한 변형된 그래프에서 두 색으로 색칠하는 변환을 적용하여 부호 패턴 결정 문제를 그래프 색칠 문제로 변환한다.
• 변형된 그래프에서 유도된 확률적 행렬의 고유벡터를 사용해 기저 랭크-1 행렬의 부호 패턴을 추론한다.
• 이 방법은 다위드-스키네 커스터마이징 모델에 적용되어 일부 작업자가 악성으로 행동하더라도 신뢰할 수 있는 분류를 가능하게 한다.

실험 결과

연구 질문

• RQ1 관측된 일부 요소가 임의로 손상되었고, 손상 위치가 알려져 있지 않은 상황에서 랭크-1 행렬을 정확히 복원할 수 있는가?
• RQ2 제안된 알고리즘이 강건한 랭크-1 행렬 완성에 대해 증명 가능한 최적성을 확보하기 위해 어떤 샘플링 조건이 필요한가?
• RQ3 일부 작업자가 의도적으로 잘못된 레이블을 제공하는 악성 커스터마이징 환경에서 제안된 방법의 성능은 어떠한가?
• RQ4 손상된 관측치가 존재하더라도 기저 랭크-1 행렬의 부호 패턴을 정확히 복원할 수 있는가?
• RQ5 교대 최소화와 극값 필터링의 조합이 합성 및 실제 악성 데이터 세트에서 기존 최신 기술보다 뛰어난 성능을 내는가?

주요 결과

• 손상된 요소의 수가 이론적 한계 이하일 경우, 에르되시-레니 무작위 샘플링 하에서 제안된 알고리즘이 원래 랭크-1 행렬을 정확히 복원한다.
• 이 방법은 동일한 샘플링 및 손상 조건 하에서 다른 알고리즘이 행렬을 복원할 수 없음을 증명할 수 있는 최적성의 의미에서 증명 가능한 최적성을 확보한다.
• 광범위한 실험 결과, 이 알고리즘은 악성 커스터마이징 환경에서 12종의 최신 기술을 모두 능가하며, 특히 손상이 빈번하거나 전략적으로 배치된 경우에 뚜렷한 우월성을 보인다.
• 극값 필터링 단계는 손상 위치를 사전에 알지 못하더라도 임의로 큰 변형을 효과적으로 식별하고 영향을 완화한다.
• 두 색으로 색칠하는 기반의 부호 패턴 복원 방법은 상당한 비율의 요소가 손상된 상황에서도 정확한 부호 구조를 성공적으로 추론한다.
• Azuma의 부등식과 마틴게일 농도를 사용해 고확률 한계를 도출함으로써 복원 및 부호 패턴 결정에 대한 이론적 보장을 확립한다.