[논문 리뷰] ForkMerge: Mitigating Negative Transfer in Auxiliary-Task Learning

Junguang Jiang, Baixu Chen외 5명|arXiv (Cornell University)|2023. 01. 30.

Domain Adaptation and Few-Shot Learning인용 수 5

한 줄 요약

ForkMerge는 주기적으로 모델을 여러 개의 브랜치로 분할하고, 타겟 검증 오차 최소화를 통해 동적으로 작업 가중치를 최적화하며, 브랜치를 병합하여 해로운 파라미터 갱신을 걸러내는 방식으로 보조 작업 학습에서의 부정적 전이를 완화하는 새로운 방법이다. 다양한 벤치마크에서 최신 기준 성능을 달성하며, AliExpress 데이터셋에서 1.30%의 절대적 성능 향상과 1000개의 레이블을 가진 SVHN에서 46.3%의 테스트 오차 감소를 기록한다.

ABSTRACT

Auxiliary-Task Learning (ATL) aims to improve the performance of the target task by leveraging the knowledge obtained from related tasks. Occasionally, learning multiple tasks simultaneously results in lower accuracy than learning only the target task, which is known as negative transfer. This problem is often attributed to the gradient conflicts among tasks, and is frequently tackled by coordinating the task gradients in previous works. However, these optimization-based methods largely overlook the auxiliary-target generalization capability. To better understand the root cause of negative transfer, we experimentally investigate it from both optimization and generalization perspectives. Based on our findings, we introduce ForkMerge, a novel approach that periodically forks the model into multiple branches, automatically searches the varying task weights by minimizing target validation errors, and dynamically merges all branches to filter out detrimental task-parameter updates. On a series of auxiliary-task learning benchmarks, ForkMerge outperforms existing methods and effectively mitigates negative transfer.

연구 동기 및 목표

• 기울기 갈등 이외의 요인을 초월하여 보조 작업 학습에서의 부정적 전이의 근본 원인을 체계적으로 탐구하는 것.
• 기존 최적화 기반 방법들이 일반화 능력을 간과하는 한계를 해결하는 것.
• 모델 분기와 병합을 통해 다양한 작업 분포 가설을 조합함으로써 모델의 일반화 능력을 향상시키는 방법을 개발하는 것.
• 유해한 파라미터 갱신을 걸러내면서도 유익한 갱신은 유지함으로써 다중 작업 학습의 성능을 향상시키는 것.
• 대규모 추천 및 준지도 학습과 같은 다양한 보조 작업 학습 벤치마크에서 최신 기준 성능을 달성하는 것.

제안 방법

• ForkMerge는 주기적으로 메인 모델을 여러 브랜치로 분할하고, 각 브랜치는 서로 다른 작업 가중치 설정으로 학습된다.
• 학습 도중 타겟 검증 오차를 최소화함으로써 동적으로 작업 가중치를 탐색한다.
• 정기적인 간격으로 모든 브랜치가 병합되고 동기화되어 유일한 모델을 형성하며, 이 과정에서 해로운 파라미터 갱신이 걸러진다.
• 이 방법은 작업 분포의 조합을 가설 조합 문제로 간주하여, 가능한 모든 데이터 분포 조합에 대한 전수 검색을 피한다.
• 양면적 전이를 극복하고 유익한 전이를 극대화하는 데 중심이 되는 기울기 기반 최적화 전략을 사용한다.
• 기존의 다중 작업 학습 프레임워크와 호환되며, 지도 학습 및 자기지도 학습 파이프라인 모두에 통합될 수 있다.

실험 결과

연구 질문

• RQ1 기울기 갈등 이외의 요인을 초월하여 보조 작업 학습에서의 부정적 전이의 근본 원인은 무엇인가?
• RQ2 학습 데이터와 테스트 데이터 간의 분포 이탈은 부정적 전이에 어떤 영향을 미치는가?
• RQ3 모델 분기와 동적 가중치 최적화는 다중 작업 학습에서의 일반화 능력을 향상시킬 수 있는가?
• RQ4 병합을 통해 해로운 파라미터 갱신을 걸러내는 것이 기존의 다중 작업 학습보다 더 나은 성능을 낼 수 있는가?
• RQ5 ForkMerge는 지도 학습 및 준지도 학습 모두의 보조 작업 학습 설정에서 기존 최신 기준 방법들을 능가할 수 있는가?

주요 결과

• ForkMerge는 가장 강력한 베이스라인 대비 AliExpress 추천 벤치마크에서 평균 성능에 1.30%의 절대적 향상을 기록한다.
• 1000개의 레이블을 가진 SVHN 데이터셋에서 ForkMerge는 테스트 오차를 5.49%로 줄여 베이스라인 S4L 방법 대비 46.3%의 오차 감소를 달성한다.
• 실험 결과, GradNorm, CAGrad, Auto-λ와 같은 기존 최신 기준 방법들 전반에서 ForkMerge가 모든 평가된 벤치마크에서 승리한다.
• 실험 결과, 기울기 갈등 자체가 반드시 부정적 전이를 유발하는 것은 아니며, 예를 들어 가중치 감쇠와 같은 갈등이 있는 보조 작업조차도 유익할 수 있음을 보여준다.
• 부정적 전이의 주요 원인은 최적화 간섭보다는 학습 데이터와 테스트 데이터 간의 분포 이탈과 더 강하게 관련되어 있음을 확인했다.
• 동적 병합 메커니즘이 해로운 파라미터 갱신을 효과적으로 걸러내면서도, 긍정적인 갱신은 유지하고 강화함으로써 성능 향상을 이룬다.