[논문 리뷰] BCCNet: Bayesian classifier combination neural network

Olga Isupova, Yunpeng Li외 4명|arXiv (Cornell University)|2018. 11. 29.

Anomaly Detection Techniques and Applications참고 문헌 1인용 수 7

한 줄 요약

BCCNet은 혼합 변분 베이지안 및 최대우도 접근 방식을 사용하여 깊이 있는 분류기 학습과 동시에 편향되고 일관성 없는 군중 레이블을 보정하는 새로운 신경망 프레임워크이다. 실제 재난 대응 및 말라리아 예방 응용 분야에서 불균형하고 노이즈가 많은 데이터에서 뛰어난 정확도와 안정성을 달성하며, 손상 탐지 및 모기 소리 분류 작업 모두에서 기준 모델을 능가한다.

ABSTRACT

Machine learning research for developing countries can demonstrate clear sustainable impact by delivering actionable and timely information to in-country government organisations (GOs) and NGOs in response to their critical information requirements. We co-create products with UK and in-country commercial, GO and NGO partners to ensure the machine learning algorithms address appropriate user needs whether for tactical decision making or evidence-based policy decisions. In one particular case, we developed and deployed a novel algorithm, BCCNet, to quickly process large quantities of unstructured data to prevent and respond to natural disasters. Crowdsourcing provides an efficient mechanism to generate labels from unstructured data to prime machine learning algorithms for large scale data analysis. However, these labels are often imperfect with qualities varying among different citizen scientists, which prohibits their direct use with many state-of-the-art machine learning techniques. We describe BCCNet, a framework that simultaneously aggregates biased and contradictory labels from the crowd and trains an automatic classifier to process new data. Our case studies, mosquito sound detection for malaria prevention and damage detection for disaster response, show the efficacy of our method in the challenging context of developing world applications.

연구 동기 및 목표

• 비전문가 평가자로부터 수집한 노이즈가 많고 일관성 없고 희박한 군중 기반 레이블에서 신뢰할 수 있는 기계 학습 모델을 훈련하는 데 도전하는 것.
• 개발도상국 환경에서 정부 및 NGO 파artner에게 실시간으로 실행 가능한 통찰을 제공할 수 있는 확장 가능하고 구현 가능한 시스템을 개발하는 것.
• 혼합 변분 베이지안 및 최대우도 프레임워크를 사용하여 신경망 파라미터와 분류기 혼동 행렬을 동시에 학습하는 것.
• 예를 들어 재해 후 위성 영상 및 말라리아 매개모기의 음성 기록과 같은 높은 레이블 노이즈를 가진 실제 세계의 불균형 데이터셋에서 강건한 성능을 입증하는 것.
• 유엔, FEMA 및 NGO들이 사용하는 운영 응답 파이프라인에 모델를 통합함으로써 지속 가능한 영향을 확보하는 것.

제안 방법

• BCCNet은 신경망과 베이지안 분류기 조합(BCC) 알고리즘을 통합하여 객체 분류와 기초 분류기 신뢰도를 동시에 모델링한다.
• 각 데이터 포인트의 진짜 클래스는 신경망을 통해 추론되며, 각 군중 작업자의 레이블은 혼동 행렬에 의해 지배되는 노이즈 있는 관측값으로 모델링된다.
• 변분 베이지안 근사법을 사용하여 클래스 레이블과 혼동 행렬에 대한 사후 분포를 추정하며, 혼동 행렬의 행들에 딜레트 분포를 사전으로 사용한다.
• 하이브리드 최적화 전략은 신경망 가중치에 대해 확률적 경사상승법과 변분 파라미터에 대해 좌표상승법을 조합하여 증거 하한값(ELBO)을 최대화한다.
• 프레임워크는 누락된 레이블을 유연하게 처리하며, 원칙적인 불확실성 모델링을 통해 레이블 희박성과 클래스 불균형에 강건하다.
• 최대우도와 변분 추론의 조합을 사용하여 엔드 투 엔드로 훈련되며, 모델과 레이블 집계를 동시에 최적화할 수 있다.

실험 결과

연구 질문

• RQ1 정확한 진실 레이블이 없이도 높은 노이즈, 희박성, 일관성 없는 군중 기반 레이블에서 딥 신경망을 효과적으로 훈련시킬 수 있는가?
• RQ2 분류기 혼동 행렬과 신경망 파라미터를 동시에 학습시키는 것이 원시 군중 레이블 기반 훈련과 비교해 성능 향상에 얼마나 기여하는가?
• RQ3 BCCNet은 재해 대응 및 질병 감시와 같은 실제 응용 분야에서 클래스 불균형과 레이블 희박성 문제를 어느 정도 잘 다룰 수 있는가?
• RQ4 레이블 불확실성 하에서 변분 베이지안 접근법은 기대값 최대화(EM) 방법과 비교해 안정성과 정확도 측면에서 어떻게 다른가?
• RQ5 이 프레임워크는 인도적 및 공중보건 목적의 실시간 실행 가능한 통찰을 제공하기 위해 운영적으로 구현 가능한가?

주요 결과

• 재해 손상 탐지 작업에서 BCCNet에 대한 변분 베이지안(VB) 알고리즘은 모든 몬테카를로 시행에서 가장 높고 안정된 분류 정확도를 달성하며, 군중 레이어 네트워크 및 EM 기반 변종을 모두 능가했다.
• 모기 소리 탐지 작업에서 BCCNet의 VB 알고리즘은 모든 방법 중에서 가장 높은 중앙값 F1 측정치(0.82)와 가장 낮은 분산을 기록하여 불균형 데이터에서의 강건성을 입증했다.
• 군중 레이어 네트워크만으로는 클래스 불균형으로 인해 모기 소리를 탐지하지 못했으며, 모든 시행에서 일관되게 '모기 없음'을 예측하여 레이블 보정의 필요성을 드러냈다.
• EM 기반 BCCNet은 기준 군중 레이어 네트워크보다 안정성과 정확도가 향상되었지만, VB 변종이 두 데이터셋 모두에서 가장 우수한 전체 성능을 보였다.
• BCCNet은 1,200명이 넘는 시민 과학자로부터 온 희박하고 노이즈가 많은 레이블을 성공적으로 처리했으며, 허리케인 이리나와 마리아 대응 기간 동안 유엔, FEMA 및 60개 이상의 NGO에서 사용하는 실행 가능한 손상 히트맵을 생성했다.
• 이 프레임워크는 주노비스와 레스큐 글로벌와 협력하여 운영적으로 구현되었으며, 행성 응답 네트워크의 일부로 기능했으며, 이후 아프리카, 남미, 동남아시아에서 재해 및 환경 모니터링에 응용되었다.