[논문 리뷰] Improving Multi-Task Generalization via Regularizing Spurious Correlation

Ziniu Hu, Zhe Zhao외 5명|arXiv (Cornell University)|2022. 05. 19.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 다중 작업 학습(MTL)의 일반화 성능을 향상시키기 위해 공유 표현을 인과적 모듈과 비인과적 요소로 분리하고, 불변 위험 정규화를 통해 비의미적인 상관관계를 억제함으로써 다중 작업 인과 표현 학습(MT-CRL) 프레임워크를 제안한다. 분포 이탈 상황에서도 일관되게 유용한 특징을 우선시하는 강건한 작업별 라우팅 가중치를 학습함으로써 다섯 가지 벤치마크에서 평균 5.5%의 성능 향상을 달성한다.

ABSTRACT

Multi-Task Learning (MTL) is a powerful learning paradigm to improve generalization performance via knowledge sharing. However, existing studies find that MTL could sometimes hurt generalization, especially when two tasks are less correlated. One possible reason that hurts generalization is spurious correlation, i.e., some knowledge is spurious and not causally related to task labels, but the model could mistakenly utilize them and thus fail when such correlation changes. In MTL setup, there exist several unique challenges of spurious correlation. First, the risk of having non-causal knowledge is higher, as the shared MTL model needs to encode all knowledge from different tasks, and causal knowledge for one task could be potentially spurious to the other. Second, the confounder between task labels brings in a different type of spurious correlation to MTL. We theoretically prove that MTL is more prone to taking non-causal knowledge from other tasks than single-task learning, and thus generalize worse. To solve this problem, we propose Multi-Task Causal Representation Learning framework, aiming to represent multi-task knowledge via disentangled neural modules, and learn which module is causally related to each task via MTL-specific invariant regularization. Experiments show that it could enhance MTL model's performance by 5.5% on average over Multi-MNIST, MovieLens, Taskonomy, CityScape, and NYUv2, via alleviating spurious correlation problem.

연구 동기 및 목표

• 작업 간 상관관계가 약할 경우 다중 작업 학습(MTL)에서 일반화 실패 문제를 해결한다. 특히 비의미적인 상관관계가 원인이 되는 경우를 대상으로 한다.
• MTL가 레이블-레이블 혼동요인과 공유 표현 인코딩으로 인해 비인과적 지식을 학습하기 쉬운 점을 규명한다.
• 다중 작업 표현에서 인과적 지식과 비인과적 지식을 분리하여 분포 이탈 상황에서도 강건한 성능을 확보할 수 있는 프레임워크를 개발한다.
• MTL에 특화된 불변성 정규화를 제안하고 적용하여 라우팅 가중치가 환경 간에 안정적으로 유지되도록 하여 인과적으로 관련된 모듈을 우선시한다.
• MT-CRL이 다양한 MTL 벤치마크에서 다양한 작업 상관관계와 데이터 분포를 가진 상황에서도 효과적으로 작동하는지 검증한다.

제안 방법

• 인과적 및 비인과적 지식을 분리하기 위해 분리된 신경 모듈을 사용하는 전문가 혼합(MoE) 아키텍처를 기반으로 MTL 모델을 구성한다.
• 관련 모듈의 선택적 사용을 장려하기 위해 작업-모듈 라우팅 가중치에 L1 노르말화를 적용한다.
• 특정 모듈이 모든 작업에서 지배적이지 않도록 방지하기 위해 균형 정규화를 도입한다.
• 공유된 특징이 인과적으로 관련이 없는 모듈 간에 최소화되도록 탈상관 손실을 통해 표현 분리 조건을 강제한다.
• 다양한 데이터 분포에서 라우팅 가중치에 대한 기울기의 분산을 페널티로 줄여 불변성 정규화를 구현함으로써 인과적 모듈의 일관된 사용을 촉진한다.
• 모든 정규화 항목을 포함한 엔드 투 엔드 학습을 수행하며, 데이터셋 간 비교의 공정성과 일반화를 확보하기 위해 고정된 하이퍼파라미터 세트를 사용한다.

실험 결과

연구 질문

• RQ1 낮은 훈련 손실을 기록함에도 불구하고 다중 작업 학습이 단일 작업 학습보다 일반화 성능이 열 劣하는 이유는 무엇인가?
• RQ2 MTL에서 레이블-레이블 혼동요인이 비의미적인 상관관계를 유도하여 일반화 성능을 저하시키는 방식은 무엇인가?
• RQ3 분리된 표현 학습과 불변성 정규화를 조합하면 다중 작업 모델의 비의미적인 상관관계를 완화할 수 있는가?
• RQ4 라우팅 가중치에 대한 불변 위험 정규화는 MTL에서 분포 이탈에 대한 강건성을 얼마나 향상시킬 수 있는가?
• RQ5 제안된 MT-CRL 프레임워크는 다양한 작업 상관관계와 데이터 분포를 가진 다양한 MTL 벤치마크에서 효과적으로 작동하는가?

주요 결과

• MT-CRL은 Multi-MNIST, MovieLens, Taskonomy, CityScape, NYUv2 등 다섯 가지 벤치마크에서 평균 5.5%의 성능 향상을 기록한다.
• 기본 MTL 베이스라인 대비 뚜렷한 성능 향상을 보이며, Multi-MNIST에서 6.9%의 절대적 성능 향상(정확도 0.915 vs. 0.846)을 달성한다.
• 실증 결과에 따르면, 스파arsity, 균형, 탈상관, 불변성 정규화 등 모든 정규화 구성 요소가 없을 경우 대비 성능 향상을 보인다.
• 민감도 분석 결과, 하이퍼파라미터 설정이 비최적일 경우 성능 저하가 미미하여 MT-CRL이 하이퍼파라미터 선택에 대해 강건함을 확인한다.
• 불변성 정규화는 비의미적인 상관관계에 의존하는 모듈을 효과적으로 억제하며, 분포 이탈 상황에서도 안정적인 라우팅 가중치를 보여준다.
• 특히 표준 MTL이 실패하는 저상관관계 MTL 환경에서 비인과적 지식 전이의 위험을 성공적으로 완화한다.