[논문 리뷰] Small Towers Make Big Differences

Yuyan Wang, Zhe Zhao외 5명|arXiv (Cornell University)|2020. 08. 13.

Infrastructure Resilience and Vulnerability Analysis참고 문헌 47인용 수 6

한 줄 요약

이 논문은 다중 작업 딥 러닝 모델에 추가되는 소규모이며 작업에 관계없는 탑재된 보조 모듈(자기 보조 모듈)을 제안하여 다중 목적 최적화와 다중 작업 일반화 사이의 균형을 이루면서 파레토 효율성을 향상시킨다. 실험 결과, 이러한 소규모 보조 헤드는 최소한의 파라미터 오버헤드로 여러 작업에서 성능을 크게 향상시키며, 표준 다중 작업 모델과 과도하게 파라미터화된 기준 모델보다 뛰어난 성능을 보였다.

ABSTRACT

Multi-task learning aims at solving multiple machine learning tasks at the same time. A good solution to a multi-task learning problem should be generalizable in addition to being Pareto optimal. In this paper, we provide some insights on understanding the trade-off between Pareto efficiency and generalization as a result of parameterization in multi-task deep learning models. As a multi-objective optimization problem, enough parameterization is needed for handling task conflicts in a constrained solution space; however, from a multi-task generalization perspective, over-parameterization undermines the benefit of learning a shared representation which helps harder tasks or tasks with limited training examples. A delicate balance between multi-task generalization and multi-objective optimization is therefore needed for finding a better trade-off between efficiency and generalization. To this end, we propose a method of under-parameterized self-auxiliaries for multi-task models to achieve the best of both worlds. It is task-agnostic and works with other multi-task learning algorithms. Empirical results show that small towers of under-parameterized self-auxiliaries can make big differences in improving Pareto efficiency in various multi-task applications.

연구 동기 및 목표

• 파arameterized 다중 작업 딥 러닝 모델에서 파레토 효율성과 다중 작업 일반화 사이의 상호 간의 상충 관계를 조사하는 것.
• 과도하게 파라미터화가 공유 표현 학습의 이점을 약화시키며, 특히 어려운 또는 데이터가 적은 작업에서 그러한 영향이 크다는 문제를 해결하는 것.
• 추론 비용을 증가시키지 않고도 파레토 효율성을 향상시키는 일반적이고 작업에 관계없는 방법을 개발하는 것.
• 과도하게 파라미터화되지 않은 자기 보조 모듈이 공유 표현을 암묵적으로 정규화함으로써 더 큰 모델보다 뛰어난 성능을 달성할 수 있음을 보여주는 것.

제안 방법

• 메인 헤드와 동일한 작업에 대해 소규모이며 작업에 관계없는 보조 헤드(자기 보조 모듈)를 도입하며, 동일한 입력을 공유하지만 능력이 감소된 구조로 구성한다.
• 평균 풀링 또는 봉쇄층을 사용하여 자기 보조 모듈의 파라미터화 수준을 추가로 감소시킨다.
• 메인 작업 목표와 보조 목표를 함께 최적화하여, 보조 헤드가 공유 특징에 대해 암묵적인 정규화를 제공하도록 한다.
• 렐루 활성화 함수를 사용하는 공유 밑바닥 아키텍처에 이 방법을 적용하며, 기존의 다중 작업 학습 프레임워크와의 호환성을 유지한다.
• 1개 설정당 1000회의 시행을 거친 광범위한 초모델 하이퍼파라미터 검색을 통해 풀링 크기와 탑재 너비와 같은 하이퍼파라미터를 최적화한다.
• 다양한 목표 간의 상충 관계를 평가하기 위해 파레토 선분석을 사용하며, 특히 회귀 및 분류 작업에서의 성능을 중심으로 분석한다.

실험 결과

연구 질문

• RQ1 다중 작업 모델에서의 파라미터화 수준이 파레토 효율성과 다중 작업 일반화 사이의 상충 관계에 어떻게 영향을 미치는가?
• RQ2 과도하게 파라미터화되지 않은 보조 헤드는 모델 크기나 추론 비용을 증가시키지 않고도 파레토 효율성을 향상시킬 수 있는가?
• RQ3 자기 보조 모듈의 능력을 줄이면 성능 향상이 이루어지며, 만약 그렇다면 그 이유는 무엇인가?
• RQ4 제안된 방법은 다양한 모델 아키텍처와 작업 유형에서 어떻게 성능을 발휘하는가?
• RQ5 기존의 다중 작업 학습 알고리즘과의 조합이 아키텍처 변경 없이 가능할 수 있는가?

주요 결과

• 자기 보조 모듈에 평균 풀링을 적용한 제안된 방법은 영화 추천 데이터셋(MovieLens)에서 파레토 선분을 크게 향상시켜 시청 예측 및 평점 예측 작업 양쪽에서 성능을 향상시켰다.
• 자기 보조 모듈의 파라미터화 수준을 추가로 줄이면 성능 향상이 더욱 두드러지며, 이는 과도하게 파라미터화되지 않은 구조가 효과적인 정규화를 제공한다는 것을 시사한다.
• 더 큰 모델보다도 더 뛰어난 파레토 효율성을 달성함으로써, 과도하게 파라미터화된 모델이 다중 작업 일반화에 악영향을 줄 수 있음을 입증하였다.
• 자기 보조 모듈의 이점은 더 큰 모델 아키텍처에서 더욱 두드러지며, 최적화와 일반화 사이의 균형을 맞추는 데서 그 역할을 확인시켰다.
• 이 방법은 다양한 작업(회귀 및 분류)과 모델 아키텍처에서 효과적이며, 넓은 적용 가능성을 보였다.
• 학습 시에는 극히 미미한 파라미터 오버헤드만을 유발하고 추론 시에는 어떤 비용도 발생시키지 않아 대규모 시스템에 매우 적합하다.