[논문 리뷰] Instance-dependent Label-noise Learning under a Structural Causal Model

Yu Yao, Tongliang Liu외 4명|arXiv (Cornell University)|2021. 09. 07.

Machine Learning and Data Classification참고 문헌 31인용 수 31

한 줄 요약

논문은 X와 구조적 인과 모델을 이용한 인과적 구조 기반 생성적 접근법인 CausalNL을 제시하며, 인스턴스 의존적 라벨 노이즈를 식별 가능하게 학습하고 분류기를 개선하여, 합성 및 실제 노이즈 데이터에서 최첨단 방법들을 능가합니다.

ABSTRACT

Label noise will degenerate the performance of deep learning algorithms because deep neural networks easily overfit label errors. Let X and Y denote the instance and clean label, respectively. When Y is a cause of X, according to which many datasets have been constructed, e.g., SVHN and CIFAR, the distributions of P(X) and P(Y|X) are entangled. This means that the unsupervised instances are helpful to learn the classifier and thus reduce the side effect of label noise. However, it remains elusive on how to exploit the causal information to handle the label noise problem. In this paper, by leveraging a structural causal model, we propose a novel generative approach for instance-dependent label-noise learning. In particular, we show that properly modeling the instances will contribute to the identifiability of the label noise transition matrix and thus lead to a better classifier. Empirically, our method outperforms all state-of-the-art methods on both synthetic and real-world label-noise datasets.

연구 동기 및 목표

• Y가 X를 야기하는 경우의 라벨 노이즈를 동기 부여하고 해결합니다. 이로 인해 전이 P(tilde{Y}|Y,X)가 표준 가정으로 식별하기 어려워집니다.
• X, tilde{Y}, Y 및 잠재 Z를 연결하는 인과 생성 모델을 제안하여 P(X)를 활용해 노이즈 전이의 식별 가능성을 높입니다.
• SCM 하에서 잠재 Y와 Z를 학습하고 노이즈 데이터로부터 깨끗한 라벨을 복구하기 위한 변분 추론 프레임워크(VAE 기반)를 개발합니다.
• 공동 학습(co-teaching)을 통합해 신뢰할 수 있는 예제를 동적으로 선택하고 전이 행렬의 식별 가능성과 학습을 개선합니다.

제안 방법

• X = f(Z,Y,epsilon_X) 및 tilde{Y} = f(X,Y,epsilon_tilde{Y})를 갖는 구조적 인과 모델을 제안하고 결합을 P(X, tilde{Y}, Y, Z) = P(Y)P(Z)P(X|Y,Z)P(tilde{Y}|Y,X)로 분해합니다.
• 두 개의 디코더가 p_theta1(X|Y,Z)와 p_theta2(tilde{Y}|Y,X)를 모델링하고 두 개의 인코더가 q_phi2(Z|Y,X)와 q_phi1(Y|X)로 구성된 변분 자동인코더 프레임워크를 사용합니다.
• 테스트 시 tilde{Y} 없이 Y 추론을 가능하게 하도록 q_phi(Y|tilde{Y},X) 를 q_phi(Y|X)로 근사합니다.
• 재구성 손실과 KL 정규화 항뿐만 아니라 신뢰할 수 있는 예제들을 동적으로 선택하는 공동 학습 손실(co-teaching loss)을 포함하여 음의 ELBO로 최적화합니다.
• 공유 구조를 가진 양분(branch) 아키텍처를 사용하여 인코더 q_phi1(X)와 교차 분기 추론자 간의 공동 학습을 가능하게 하여 노이즈 있는 라벨에 대한 강건성을 확보합니다.

실험 결과

연구 질문

• RQ1 구조적 인과 모델이 인스턴스 의존적 라벨 노이즈 전이를 드러내고 제약할 수 있어 식별 가능성을 향상시킬 수 있는가?
• RQ2 X|Y,Z를 모델링하고 P(X)를 활용하면 P(tilde{Y}|Y,X)의 식별 가능성을 높이고 기존 방법에 비해 P(Y|X) 를 더 잘 추정할 수 있는가?
• RQ3 causal generative 모델과 통합된 공동 학습(co-teaching)이 인스턴스 의존적 라벨 노이즈에 대한 강건성을 높일 수 있는가?
• RQ4 합성 및 실제 노이즈 데이터셋에서 특히 높은 노이즈 비율에서 이 접근법이 효과적인가?

주요 결과

• CausalNL은 합성 데이터셋(FashionMNIST, SVHN, CIFAR-10, CIFAR-100)과 실제 Clothing1M에서 최첨단 기준선들을 지속적으로 능가하며, 노이즈 비율이 높아질수록 더 큰 이득을 보입니다.
• X를 인과 생성 과정으로 모델링하는 것이 라벨 노이즈 전이 매트릭스의 식별 가능성을 개선하고 깨끗한 라벨 회복으로 이어집니다.
• 변분 추론 프레임워크는 잠재 Y와 Z의 추정을 효율적으로 가능하게 하여 인스턴스 의존적 노이즈 하에서 분류기 성능을 향상시킵니다.
• 공동 학습 구성요소(co-teaching)는 선택 편향을 줄이고 인과 생성 프레임워크 내에서 신뢰할 수 있는 예제 식별을 강화하는 데 도움을 줍니다.
• underlying causal 방향이 Y가 X를 야기하는 경우에도 이 방법이 강력한 성능을 보이며 비전 데이터의 일반적인 데이터 생성 과정과 일치합니다.