[논문 리뷰] Learning to Multitask

Yu Zhang, Ying Wei외 1명|arXiv (Cornell University)|2018. 05. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 31인용 수 9

한 줄 요약

이 논문은 이력 다중작업 경험을 활용하여 최적의 다중작업 모델을 자동으로 선택하는 L2MT(Learning to Multitask) 프레임워크를 제안한다. 계층별 그래프 신경망을 사용해 작업 임베딩을 학습하고, 상대적 테스트 오차를 예측하는 추정 함수를 도입함으로써, 종료형 모델 선택 기법을 통해 기준선 대비 뚜렷한 오차 감소를 이룬 벤치마크 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Multitask learning has shown promising performance in many applications and many multitask models have been proposed. In order to identify an effective multitask model for a given multitask problem, we propose a learning framework called learning to multitask (L2MT). To achieve the goal, L2MT exploits historical multitask experience which is organized as a training set consists of several tuples, each of which contains a multitask problem with multiple tasks, a multitask model, and the relative test error. Based on such training set, L2MT first uses a proposed layerwise graph neural network to learn task embeddings for all the tasks in a multitask problem and then learns an estimation function to estimate the relative test error based on task embeddings and the representation of the multitask model based on a unified formulation. Given a new multitask problem, the estimation function is used to identify a suitable multitask model. Experiments on benchmark datasets show the effectiveness of the proposed L2MT framework.

연구 동기 및 목표

• 주어진 다중작업 문제에 대해 대량의 후보 모델 중 효과적인 다중작업 모델을 선택하는 데 도전하는 것.
• 비싼 교차검증 대신 학습된 데이터 기반 접근 방식으로 모델 선택의 계산 비용을 줄이는 것.
• 역사적 다중작업 경험에서 학습함으로써 자동화되고 일반화 가능한 모델 선택을 가능하게 하는 것.
• 작업 표현과 모델 공분산 행렬을 동시에 최적화함으로써 다중작업 학습 성능을 향상시키는 것.

제안 방법

• L2MT는 이력 다중작업 경험을 (다중작업 문제, 다중작업 모델, 상대적 테스트 오차)의 튜플로 표현하여 메타학습을 위한 학습 데이터셋을 구성한다.
• 계층별 그래프 신경망(LGNN)을 사용해 다중작업 문제 내의 상호작용 관계를 반영하는 작업 임베딩을 학습한다.
• 작업 임베딩 행렬은 다중작업 문제의 표현으로 집계되며, 작업 공분산 행렬은 다중작업 모델의 표현으로 사용된다.
• 종료형 추정 함수는 다중작업 문제와 모델의 통합 표현을 바탕으로 상대적 테스트 오차를 예측한다.
• 새로운 다중작업 문제에 대해, 이 프레임워크는 추정 함수를 최소화함으로써 최적의 작업 공분산 행렬과 그에 따른 다중작업 모델을 동시에 학습한다.
• 프레임워크는 VGG-19와 같은 특징 추출기의 파라미터를 미세조정함으로써 성능 향상을 추가로 지원한다.

실험 결과

연구 질문

• RQ1 학습 기반 프레임워크는 철저한 교차검증 없이도 새로운 다중작업 문제에 대해 적절한 다중작업 모델을 효과적으로 식별할 수 있는가?
• RQ2 다중작업 모델 선택을 안내하기 위해 작업 간 관계를 어떻게 효과적으로 표현할 수 있는가?
• RQ3 학습된 작업 임베딩과 모델 표현이 다중작업 학습의 일반화 능력 향상에 얼마나 기여하는가?
• RQ4 제안된 프레임워크는 기존의 다중작업 학습 기준선 대비 테스트 오차와 내성성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• L2MT는 Caltech256 및 MIT-Indoor-Scene 데이터셋에서 VGG-19 네트워크를 미세조정할 때 평균 테스트 오차를 약 5% 감소시킨다.
• 프레임워크는 다양한 하이퍼파라미터 설정에서도 안정적인 성능을 보이며, λ ∈ [0.01, 0.5] 및 k ∈ [5, 10] 범위에서 민감도가 매우 낮다.
• L2MT는 의미 있는 작업 상관관계를 학습한다. 예를 들어, '곰'과 '개' 분류 작업 간 강한 음성 상관관계를 발견했으며, 이는 성능 향상과 관련이 있다.
• 사례 연구 결과, L2MT는 SNR1 및 MTRL보다 더 정보적인 작업 관계를 식별하며, 특히 관련 작업 간 높은 음성 상관관계를 효과적으로 포착한다.
• 기타 추정 함수 및 연결 함수를 사용할 경우 약 2%의 상대적 오차 증가가 발생하여, 제안된 함수 형태의 우수성을 입증한다.
• 일반화 경계는 경험적 결과를 통해 검증되며, 학습 튜플 수 q가 증가할수록 테스트 오차가 감소하는 경향을 보인다.