[논문 리뷰] Auxiliary Task Update Decomposition: The Good, The Bad and The Neutral

Lucio M. Dery, Yann Dauphin외 1명|arXiv (Cornell University)|2021. 08. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 47인용 수 5

한 줄 요약

이 논문은 주된 태스크의 손실에 대한 영향에 따라 보조 태스크 기울기를 세 구성요소—유용한, 해로운, 중립적인—으로 분해하는 모델에 종속되지 않는 프레임워크 ATTITTUD을 제안한다. 효율적인 특이값 분해와 자동 미분을 통해 이러한 구성요소를 재가중함으로써, 데이터가 적은 환경에서 일반화 성능을 향상시키며, 비전 및 텍스트 분류 태스크에서 일관되게 기준 모델들을 능가한다.

ABSTRACT

While deep learning has been very beneficial in data-rich settings, tasks with smaller training set often resort to pre-training or multitask learning to leverage data from other tasks. In this case, careful consideration is needed to select tasks and model parameterizations such that updates from the auxiliary tasks actually help the primary task. We seek to alleviate this burden by formulating a model-agnostic framework that performs fine-grained manipulation of the auxiliary task gradients. We propose to decompose auxiliary updates into directions which help, damage or leave the primary task loss unchanged. This allows weighting the update directions differently depending on their impact on the problem of interest. We present a novel and efficient algorithm for that purpose and show its advantage in practice. Our method leverages efficient automatic differentiation procedures and randomized singular value decomposition for scalability. We show that our framework is generic and encompasses some prior work as particular cases. Our approach consistently outperforms strong and widely used baselines when leveraging out-of-distribution data for Text and Image classification tasks.

연구 동기 및 목표

• 주 태스크의 데이터가 제한된 상황에서 유용한 보조 태스크를 선택하는 문제에 대응한다.
• 보조 태스크가 주 태스크 성능을 떨어뜨리는 부정적 간섭의 위험을 완화한다.
• 주 태스크에 대한 영향에 따라 보조 기울기를 세밀하게 보정할 수 있는 확장 가능한, 모델에 종속되지 않는 방법을 개발한다.
• 대칭적인 태스크 최적화가 필요 없이도 유연하고 적응적인 기울기 구성요소 재가중을 가능하게 한다.
• 이전의 방법들인 PCGrad와 전통적인 다중태스크 학습을 일반화하는 통합 프레임워크를 제공한다.

제안 방법

• 주 태스크의 예측 기울기 부분공간에 대해 보조 태스크 기울기를 세 개의 수직 구성요소로 분해한다: 긍정적(유용함), 부정적(해로움), 중립적(영향 없음).
• 각 보조 기울기 방향이 주 태스크에 미치는 영향을 주 태스크의 기대 손실의 테일러 전개를 통해 정의한다.
• 주 태스크의 예측 기울기로 생성된 k차원 부분공간을 온라인 및 스트리밍 방식으로 효율적으로 추정하기 위해 랜덤화된 특이값 분해(SVD)를 활용한다.
• 대규모 딥 네트워크에서 효율적으로 자코비안-벡터 곱을 계산하기 위해 자동 미분(R-연산자)을 적용한다.
• 학습 가능한 또는 고정된 스칼라(예: η_aux = (1.0, 0.0, 0.0))를 사용해 세 구성요소를 재가중하여 최적화 중 기여도를 제어한다.
• 대규모 비전 및 NLP 태스크를 지원하기 위해 스트리밍 학습 파이프라인에 프레임워크를 통합한다.

실험 결과

연구 질문

• RQ1 보조 태스크 기울기를 주 태스크 손실을 증가시키거나 감소시키거나 변화가 없는 구성요소로 분해할 수 있는가?
• RQ2 딥 네트워크에 대해 확장 가능한 방식으로 주 태스크 기울기 부분공간을 효율적으로 추정할 수 있는가?
• RQ3 기울기 구성요소에 대한 세분화된 재가중이 자원이 제한된 주 태스크에서 일반화 성능 향상에 기여하는가?
• RQ4 제안된 프레임워크는 PCGrad나 표준 다중태스크 학습과 같은 기존의 비대칭 다중태스크 학습 방법을 통합하거나 능가하는가?
• RQ5 부분공간 차원 k와 SVD 추정을 위한 샘플 크기와 같은 하이퍼파라미터가 저자원 및 고자원 환경에서 성능에 미치는 영향은 무엇인가?

주요 결과

• 제안된 ATTITTUD 프레임워크는 MultiCifar100에서 평균 76.1%의 정확도를 기록하여, 다음으로 높은 성능을 보인 기준 모델(PCGrad)의 75.6%를 초월한다.
• Cat-vs-Dog Cifar10 태스크에서 ATTITTUD는 67.1%의 정확도(±1.31)를 기록하여, PCGrad(64.2%)와 다중태스크 학습(65.3%)을 모두 능가한다.
• ChexPert-5k 의료 영상 벤치마크에서 ATTITTUD는 AUC를 사전학습된 ResNet의 81.4%에서 83.3%로 향상시켜 강력한 전이 성능를 입증한다.
• 기울기 부분공간의 랜덤화된 SVD 기반 기저를 사용할 경우 평균 62.2%의 정확도를 기록하며, 캐논리컬 기저(51.42%), 무작위 기저(58.72%), unit_avg_grad 기저(59.13%) 대비 유의미하게 뛰어난 성능을 보였다.
• 가장 높은 성능를 보인 설정(η_aux = (1.0, 0.0, 0.0))은 내부 구성요소를 제거하여 과적합을 줄이고 일반화 성능를 향상시켰다.
• 부분공간 추정을 위한 샘플 크기를 늘릴수록 분산은 감소하지만 정확도 향상의 수익은 점점 감소하여, 계산 비용과 정밀도 사이의 상충 관계를 보였다.