[논문 리뷰] Exploiting Heterogeneous Graph Neural Networks with Latent Worker/Task Correlation Information for Label Aggregation in Crowdsourcing

Hanlu Wu, Tengfei Ma외 2명|arXiv (Cornell University)|2020. 10. 25.

Mobile Crowdsensing and Crowdsourcing참고 문헌 61인용 수 4

한 줄 요약

이 논문은 노이즈가 많은 레이블을 처리하기 위해 작업자-과제 상호작용을 모델링하기 위해 잠재적인 상관관계를 새로운 어텐션 메커니즘을 통해 학습하는 이질적 그래프 신경망(HGNN) 프레임워크를 제안한다. 동일한 유형의 노드 간의 상호의존성을 동일한 어텐션 레이어를 통해 통합함으로써, 13개의 실세계 데이터셋에서 레이블 집계 작업에서 최신 기술(SOTA) 성능을 달성하며, 기존 방법들에 비해 정확도와 견고성 면에서 뚜렷이 뛰어나다.

ABSTRACT

Crowdsourcing has attracted much attention for its convenience to collect labels from non-expert workers instead of experts. However, due to the high level of noise from the non-experts, an aggregation model that learns the true label by incorporating the source credibility is required. In this paper, we propose a novel framework based on graph neural networks for aggregating crowd labels. We construct a heterogeneous graph between workers and tasks and derive a new graph neural network to learn the representations of nodes and the true labels. Besides, we exploit the unknown latent interaction between the same type of nodes (workers or tasks) by adding a homogeneous attention layer in the graph neural networks. Experimental results on 13 real-world datasets show superior performance over state-of-the-art models.

연구 동기 및 목표

• 간단한 다数 투표를 넘어서 레이블 집계 성능을 향상시켜 커뮤니티 소싱에서 노이즈가 많은 레이블 문제를 해결하기 위해.
• 기존 방법들이 포착하지 못하는 복잡하고 다차원적인 작업자 및 과제 간 관계를 모델링하기 위해.
• 명시적인 과제 특징이 필요로 하지 않는 표현 학습 프레임워크를 개발하여 일반화 능력과 확장성 향상시키기 위해.
• 작업자 간 및 과제 간 잠재적 상관관계를 통합하여 진정한 레이블 추론 성능을 향상시키기 위해.

제안 방법

• 작업자와 과제를 두 가지 다른 노드 유형으로 하여, 레이블링 할당을 나타내는 간선으로 연결된 이질적 그래프를 구축하기.
• 메시지 전달 그래프 신경망(MP-GNN)을 적용하여 작업자-과제 상호작용을 통해 이웃 정보를 집계하기.
• 동일한 유형의 노드(작업자 또는 과제) 간 잠재적 상관관계를 모델링하기 위해 새로운 동일 유형 어텐션 레이어(COR 레이어) 도입하기.
• 노드 표현을 반복적으로 개선하고 진정한 레이블을 예측하기 위해 다층 아키텍처(MP2 + COR + MP2) 사용하기.
• 학습 데이터의 교차 엔트로피 손실을 사용해 엔드 투 엔드로 모델을 훈련시키며, 추론 시 진정한 레이블이 필요로 하지 않기.
• 최종 평가에서 성능와 일반화를 균형 잡기 위해 모든 데이터셋에서 은닉 차원을 30으로 고정하기.

실험 결과

연구 질문

• RQ1 이질적 그래프 신경망이 커뮤니티 소싱에서 레이블 집계 성능 향상을 위해 작업자-과제 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 작업자 간 및 과제 간 잠재적 상관관계는 진정한 레이블 추론 정확도에 어떤 영향을 미치는가?
• RQ3 동일 유형 어텐션 레이어를 통해 노드 간 상호의존성을 통합함으로써 표준 메시지 전달 GNN보다 성능 향상이 이루어지는가?
• RQ4 다양한 실세계 데이터셋에서 제안된 방법은 최신 기술(SOTA) 레이블 집계 모델보다 어떻게 비교되는가?
• RQ5 명시적인 과제 특징이나 진정한 레이블이 필요로 하지 않더라도 모델의 일반화 능력은 어느 정도 이루어지는가?

주요 결과

• MP2+COR+MP2 모델은 13개 데이터셋 전반에서 평균 정확도가 가장 높았으며, 기준 모델들을 뚜렷이 앞서는 성능을 보였다.
• 웹 데이터셋에서 제안된 모델은 97.34%의 정확도를 기록하여, 다음으로 우수한 모델보다 1.5% 이상 높았다.
• COR 레이어는 13개 데이터셋 중 8개에서 성능 향상을 보였으며, 작업자 간 및 과제 간 잠재적 상관관계를 모델링하는 것이 유의미한 가치를 지닌다는 것을 입증했다.
• 단지 5%의 훈련 데이터만으로도 높은 성능를 기록하여, 높은 데이터 효율성을 보였다.
• 제거 실험을 통해 COR 레이어가 2호프 메시지 전달 기능을 넘어서는 고유한 이점을 제공하며 장거리 의존성을 포착한다는 것이 확인되었다.