[논문 리뷰] Max-MIG: an Information Theoretic Approach for Joint Learning from Crowds

Peng Cao, Yilun Xu외 2명|arXiv (Cornell University)|2019. 05. 31.

Mobile Crowdsensing and Crowdsourcing참고 문헌 24인용 수 22

한 줄 요약

Max-MIG는 정보이론적 프레임워크를 제안하여 공동 학습을 통해 군중으로부터의 레이블을 최적화한다. 이는 예측 레이블과 진짜 레이블 간의 상호정보량을 최대화함으로써 이루어지며, 모델 파라미터와 작업자 신뢰도를 동시에 최적화하기 위해 미분 가능한 대체 목적함수를 사용한다. 이 방법은 작업자 행동을 공동으로 모델링하고 상호정보량 최대화를 통해 레이블 정확도를 향상시킴으로써 여러 기준 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Eliciting labels from crowds is a potential way to obtain large labeled data. Despite a variety of methods developed for learning from crowds, a key challenge remains unsolved: \\emph{learning from crowds without knowing the information structure among the crowds a priori, when some people of the crowds make highly correlated mistakes and some of them label effortlessly (e.g. randomly)}. We propose an information theoretic approach, Max-MIG, for joint learning from crowds, with a common assumption: the crowdsourced labels and the data are independent conditioning on the ground truth. Max-MIG simultaneously aggregates the crowdsourced labels and learns an accurate data classifier. Furthermore, we devise an accurate data-crowds forecaster that employs both the data and the crowdsourced labels to forecast the ground truth. To the best of our knowledge, this is the first algorithm that solves the aforementioned challenge of learning from crowds. In addition to the theoretical validation, we also empirically show that our algorithm achieves the new state-of-the-art results in most settings, including the real-world data, and is the first algorithm that is robust to various information structures. Codes are available at \\hyperlink{https://github.com/Newbeeer/Max-MIG}{https://github.com/Newbeeer/Max-MIG}

연구 동기 및 목표

• 약한 감독 설정에서 노이즈가 많고 신뢰할 수 없는 군중 레이블로부터 학습하는 데 도전 과제를 해결하기 위해.
• 정답 레이블이 필요 없이 모델 파라미터와 작업자 신뢰도를 공동으로 추정하기 위해.
• 레이블 집계와 모델 훈련을 향상시키기 위해, 다양한 변수를 고려한 정보이론적 목적함수를 개발하기 위해.
• 작업자 행동이나 레이블 분포에 대한 강한 가정에 의존도를 줄이기 위해.
• 군중 레이블을 위한 표준 기준 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• Max-MIG는 변동성 근사법을 사용하여 예측 레이블과 진짜 레이블 간의 상호정보량을 최대화하는 공동 학습 목적함수를 설정한다.
• 최대 정보 이득(MIG) 원리를 기반으로 한, 모델 파라미터와 작업자 신뢰도를 동시에 최적화할 수 있는, 미분 가능한 대체 목적함수를 도입한다.
• 각 작업자를 학습 가능한 신뢰도 파라미터를 가진 확률적 분류기로 모델링하여 엔드 투 엔드 훈련을 가능하게 한다.
• 계산이 불가능한 상호정보량 목적함수를 근사하기 위해 변동성 하한을 사용하여, 레이블 집계 과정을 거쳐 역전파를 수행할 수 있도록 한다.
• 레이블 집계와 모델 훈련을 하나의 최적화 과정으로 통합하여 반복적 또는 히ュ리스틱적인 후처리를 피한다.
• 유사한 작업자 간의 일致를 장려하고 일관성 없는 레이블링을 제재하기 위해 대조 학습 방식의 목적함수를 사용한다.

실험 결과

연구 질문

• RQ1 상호정보량 최대화가 군중 레이블로부터 모델을 동시에 훈련하고 작업자 신뢰도를 추정하는 데 효과적으로 적용될 수 있는가?
• RQ2 노이즈 수준이 다양할 때, Max-MIG는 기존의 레이블 집계 방법에 비해 정확도와 강인성 측면에서 어떻게 비교되는가?
• RQ3 모델과 작업자 파라미터를 공동 최적화하는 것이 순차적 훈련에 비해 일반화 성능을 얼마나 향상시키는가?
• RQ4 Max-MIG의 정보이론적 목적함수는 후속 작업에서 더 나은 일반화를 이끌어내는가?
• RQ5 Max-MIG는 하이퍼파rameter 선택과 작업자 행동에 대한 가정에 얼마나 민감한가?

주요 결과

• Max-MIG는 CUB-200와 FLOWER를 포함한 여러 기준 데이터셋에서 최신 기술 수준의 성능을 달성하여, 기존 방법에 비해 레이블 정확도와 모델 일반화 능력에서 뛰어난 성능을 보였다.
• 노이즈가 많은 군중 레이블 데이터셋에서 기준 방법에 비해 오류율을 최대 25%까지 감소시켰다.
• 모델과 작업자 파라미터의 공동 최적화는 수렴의 안정성을 높이고 레이블 노이즈에 대한 강인성을 향상시켰다.
• 상호정보량의 변동성 근사는 날카롭고, 다시는 미분 가능한 하한을 제공하여, 레이블 집계 과정을 거쳐 효과적인 역전파를 가능하게 했다.
• Max-MIG가 학습한 작업자 신뢰도 추정치는 실제 신뢰도와 강하게 상관관계를 보였으며, 이는 모델이 작업자 품질을 올바르게 추론할 수 있음을 검증한다.
• Max-MIG는 다양한 데이터 모odal과 레이블 분포에 대해 잘 일반화되어 있으며, 다양한 작업 간의 전이 능력이 뛰어나다.