[논문 리뷰] Exploiting Context for Robustness to Label Noise in Active Learning

Sudipta Paul, Shivkumar Chandrasekaran외 2명|arXiv (Cornell University)|2020. 10. 18.

Machine Learning and Algorithms참고 문헌 54인용 수 4

한 줄 요약

이 논문은 레이블 노이즈 하에서 강건한 다중 클래스 주도 학습을 위한 맥락 인식 노이즈 레이블 탐지(CNLD) 방법을 제안한다. 그래픽적 표현을 통해 데이터 포인트 간 상호관계를 모델링하고, 새로운 레이블에 의해 유도된 관계를 이전의 관계 지식과 비교함으로써, 이질도 점수를 통해 잘못된 레이블을 탐지한다. 이는 시나리오, 활동, 문서 분류 작업 전반에서 노이즈가 있는 애너테이션 조건에서도 인식 정확도를 크게 향상시킨다.

ABSTRACT

Several works in computer vision have demonstrated the effectiveness of active learning for adapting the recognition model when new unlabeled data becomes available. Most of these works consider that labels obtained from the annotator are correct. However, in a practical scenario, as the quality of the labels depends on the annotator, some of the labels might be wrong, which results in degraded recognition performance. In this paper, we address the problems of i) how a system can identify which of the queried labels are wrong and ii) how a multi-class active learning system can be adapted to minimize the negative impact of label noise. Towards solving the problems, we propose a noisy label filtering based learning approach where the inter-relationship (context) that is quite common in natural data is utilized to detect the wrong labels. We construct a graphical representation of the unlabeled data to encode these relationships and obtain new beliefs on the graph when noisy labels are available. Comparing the new beliefs with the prior relational information, we generate a dissimilarity score to detect the incorrect labels and update the recognition model with correct labels which result in better recognition performance. This is demonstrated in three different applications: scene classification, activity classification, and document classification.

연구 동기 및 목표

• 인간 애너테이터의 다양성으로 인해 자주 잘못된 레이블이 발생하는 주도 학습에서의 레이블 노이즈 문제에 대응하는 데 초점을 맞춘다.
• 특히 이전 연구가 주로 이진 분류에 집중한 다중 클래스 설정에서, 쿼리된 레이블 중에서 잘못된 레이블을 탐지할 수 있는 방법을 개발한다.
• 노이즈가 있는 레이블에도 불구하고 모델의 강건성과 성능을 향상시키기 위해 노이즈 레이블 탐지를 통합한 주도 학습 프레임워크를 체계화한다.
• 여러 애너테이터가 이용 가능하지 않은 저자원 및 대규모 환경에서, 레이블 품질이 불확실한 상황에서도 효과적인 학습을 가능하게 한다.

제안 방법

• 데이터 포인트 간 맥락적 관계(예: 물체-장면 또는 행동-행동 동시 발생)를 인코딩하기 위해 미레이블된 데이터의 그래픽적 표현을 구축한다.
• 초기 시드 모델에서 확보한 이전의 관계 정보를 활용하여 클래스 간 기대되는 관계를 정의하고, 일관성 검증을 위한 기준으로 삼는다.
• 노이즈가 있는 레이블이 도입되었을 때 그래프에서 조건부 추론을 수행하여 새로운 간선 신뢰도를 계산함으로써 업데이트된 관계 구조를 포착한다.
• 이전의 관계 신뢰도와 업데이트된 관계 신뢰도 간의 이질도 점수를 계산하여 부일관성을 정량화하고, 기대되는 맥락에서 크게 벗어나 있는 레이블을 식별한다.
• 높은 이질도 점수를 가진 레이블(일반적으로 잘못된 레이블)을 필터링하고, 높은 신뢰도와 맥락 일관성을 확보한 레이블만을 기반으로 분류 모델을 업데이트한다.
• 사람이 검증한 레이블과 의사 레이블 데이터를 결합한 주도 학습 파이프라인에 CNLD를 통합함으로써, 노이즈가 있는 의사 레이블을 제거함으로써 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 레이블 노이즈가 만연하고 애너테이터가 전문가가 아닌 다중 클래스 주도 학습 환경에서 잘못된 레이블을 어떻게 탐지할 수 있는가?
• RQ2 데이터 포인트 간 맥락적 관계를 얼마나 효과적으로 활용하여 부일관성 있거나 노이즈가 있는 레이블을 식별할 수 있는가?
• RQ3 맥락 인식 레이블 필터링 메커니즘이 다양한 시각적 및 텍스트 분류 작업 전반에서 레이블 노이즈가 존재하는 상황에서 인식 성능을 향상시킬 수 있는가?
• RQ4 노이즈 레이블이 존재할 때 제안된 프레임워크의 성능이 표준 주도 학습 및 의사 레이블링 방법과 비교하여 어떻게 나타나는가?

주요 결과

• 제안된 CNLD 방법은 높은 노이즈 비율(Ω = 0.50) 조건에서 기준 주도 학습 대비 시나리오 분류에서 1.0%에서 3.81%의 절대 정확도 향상을 기록하고, 문서 분류에서는 최대 6.51% 향상되었다.
• 활동 분류 작업에서는 높은 노이즈 비율 조건에서 1.21%에서 4.25%의 절대 정확도 향상을 달성하여 다양한 데이터 모odalities에서의 강건성을 입증했다.
• CNLD를 활용한 의사 레이블 필터링은 직접 의사 레이블링보다 성능 향상이著명하며, 문서 및 시나리오 분류 작업에서 가장 뛰어난 성능을 기록했다.
• 이 프레임워크는 시나리오, 활동, 문서 분류 등 다양한 응용 분야에서 높은 성능를 유지하여, 특정 특징이나 분류기의 종속성 없이 일반화 능력이 뛰어나다는 것을 입증했다.
• 레이블 탐지에서 정밀도-재현율 트레이드오프를 제어하는 β 매개변수는 높은 노이즈 조건에서 다양한 값(β ∈ {0.80, 0.85, 0.90})에서 일관된 성능 향상을 보였다.
• 정성적 결과는 낮은 이질도 점수와 정확한 레이블 간 강한 상관관계를 확인하여, 이 방법이 맥락적으로 일관되지 않은 레이블을 탐지하는 데 효과적임을 검증했다.