[논문 리뷰] Learning Functions to Study the Benefit of Multitask Learning

Gabriele Bettgenhäuser, Michael A. Hedderich외 1명|arXiv (Cornell University)|2020. 06. 09.

Topic Modeling참고 문헌 31인용 수 5

한 줄 요약

이 논문은 다중작업 학습(MTL) 성능을 정량화하는 수학적 공식을 경험적으로 발견하기 위해 기호 회귀 기반 접근법을 제안한다. 이는 데이터셋 크기(n), 작업 수(T), 작업 간 유사도(AMI)를 제어할 수 있는 맞춤형 작업 시뮬레이터를 사용한다. 주요 기여는 √n, √T, √AMI에 대한 성능 의존성 발견으로, 이는 이론적 기대를 검증하고 작업 간 유사도와의 명시적이고 해석 가능한 관계로 확장한다.

ABSTRACT

We study and quantify the generalization patterns of multitask learning (MTL) models for sequence labeling tasks. MTL models are trained to optimize a set of related tasks jointly. Although multitask learning has achieved improved performance in some problems, there are also tasks that lose performance when trained together. These mixed results motivate us to study the factors that impact the performance of MTL models. We note that theoretical bounds and convergence rates for MTL models exist, but they rely on strong assumptions such as task relatedness and the use of balanced datasets. To remedy these limitations, we propose the creation of a task simulator and the use of Symbolic Regression to learn expressions relating model performance to possible factors of influence. For MTL, we study the model performance against the number of tasks (T), the number of samples per task (n) and the task relatedness measured by the adjusted mutual information (AMI). In our experiments, we could empirically find formulas relating model performance with factors of sqrt(n), sqrt(T), which are equivalent to sound mathematical proofs in Maurer[2016], and we went beyond by discovering that performance relates to a factor of sqrt(AMI).

연구 동기 및 목표

• 다중작업 학습(MTL) 모델의 일반화 패턴을 이해하고 정량화하는 것.
• 작업 간 유사도가 알려져 있고 데이터셋이 균형을 이루는 강한 가정을 필요로 하는 이론적 MTL 경계의 한계를 극복하는 것.
• 조절 가능한 파라미터를 가진 다양한 MTL 학습 시나리오를 생성하기 위한 제어 가능한 작업 시뮬레이터를 개발하는 것.
• 기본 요소인 n, T, AMI와 모델 성능 간의 관계를 설명할 수 있는 수학적 표현을 기호 회귀를 통해 학습하는 것.
• 실무자들이 MTL 작업 그룹화와 하이퍼파라미터 선택을 안내하기 위해 데이터 기반이고 해석 가능한 프레임워크를 제공하는 것.

제안 방법

• 작업 수(T), 작업당 샘플 수(n), 조정된 상호정보량(AMI)으로 측정된 작업 간 유사도를 제어할 수 있는 시뮬레이터를 설계하여 합성 시퀀스 레이블링 작업을 생성하였다.
• n, T, AMI의 다양한 구성에서 MTL 모델의 학습 데이터를 생성하고 성능 지표(F1 점수)를 수집하였다.
• 수집된 데이터에 기호 회귀를 적용하여 F1 점수와 입력 변수(n, T, AMI) 간의 닫힌 형태의 수식을 학습하였다.
• 모델은 먼저 각 작업당 동일한 n을 가진 균형 잡힌 데이터셋에서 테스트되었고, 이후 다양한 작업에 대해 다른 n을 가진 비균형 설정으로 확장되었다.
• 최적의 적합도는 최소 테스트 평균제곱오차(MSE) 기반으로 선정되었으며, 식 (6)은 MSE 0.009를 달성하였다.
• 이 방법은 케플러의 과학적 방법을 모방한다—이론적 근거를 찾기 이전에 데이터로부터 기능적 관계를 발견한다.

실험 결과

연구 질문

• RQ1 다중작업 학습에서 성능은 작업 수(T)가 증가함에 따라 어떻게 변화하는가?
• RQ2 작업당 학습 샘플 수(n)가 증가함에 따라 성능은 어떻게 변하는가?
• RQ3 작업 간 유사도(AMI로 측정)는 MTL 성능에 어떤 정량적 영향을 미치는가?
• RQ4 작업 간 학습 샘플 수가 다를 경우 비균형 데이터셋에서 이러한 관계는 어떻게 변화하는가?
• RQ5 기호 회귀는 알려진 이론적 수렴 속도를 반영하고 이를 확장하는 해석 가능한 데이터 기반 수식을 발견할 수 있는가?

주요 결과

• MTL 모델의 F1 점수는 √n에 비례함으로써, 이전 연구에서 관찰된 이론적 수렴 속도를 확인한다.
• 성능는 √T에 의존함으로써, 이론적 기대와 일치한다.
• 새로운 발견은 성능가 √AMI에 비례함으로써, 작업 간 유사도와 MTL 성과 사이의 직접적이고 해석 가능한 관계를 드러낸다.
• 비균형 설정에서는 F1 점수가 주로 가장 작은 데이터셋(n_ner)에 의해 결정되며, √n_ner 가 주요 요소로 부각된다.
• 기호 회귀 모델은 최적의 공식에 대해 테스트 MSE 0.009를 달성하여 강한 경험적 적합도를 보였다.
• 발견된 공식 F1 = √((log(T) + 0.45) * (AMI*n / (AMI + 0.6))) 는 T, n, AMI의 공동 영향을 높은 정확도로 캡처한다.