[논문 리뷰] Which Tasks Should Be Learned Together in Multi-task Learning?

Trevor Standley, Amir Zamir외 4명|arXiv (Cornell University)|2019. 05. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 65인용 수 68

한 줄 요약

이 논문은 다중 작업 학습에서 작업 간 상호 작용을 분석하고, 고정 추론 예산 하에서 네트워크를 그룹화하여 전체 정확도를 최대화하는 프레임워크를 도입하며, 작업 친화성은 네트워크 크기, 데이터 및 설정에 따라 달라진다는 것을 보여준다.

ABSTRACT

Many computer vision applications require solving multiple tasks in real-time. A neural network can be trained to solve multiple tasks simultaneously using multi-task learning. This can save computation at inference time as only a single network needs to be evaluated. Unfortunately, this often leads to inferior overall performance as task objectives can compete, which consequently poses the question: which tasks should and should not be learned together in one network when employing multi-task learning? We study task cooperation and competition in several different learning settings and propose a framework for assigning tasks to a few neural networks such that cooperating tasks are computed by the same neural network, while competing tasks are computed by different networks. Our framework offers a time-accuracy trade-off and can produce better accuracy using less inference time than not only a single large multi-task neural network but also many single-task networks.

연구 동기 및 목표

• 작업 간 관계가 다중 작업 학습 성능에 미치는 영향을 특징화한다.
• 동일 네트워크 내에서 작업을 그룹화할지 또는 분리할지를 결정한다.
• 추론 시간 제약 하에서 총 손실을 최적화하는 작업 그룹 구성을 선택하는 프레임워크를 개발한다.

제안 방법

• Taskonomy 데이터셋의 두 5-작업 세트를 사용하여 작업 간 협력과 간섭을 경험적으로 연구한다.
• 네트워크 크기, 데이터셋 크기 및 작업 간 유사성이 다중 작업 친화도에 어떤 영향을 미치는지 평가한다.
• 예산 b 내에서 부분 집합의 작업을 해결하는 네트워크 집합을 선택하기 위한 최적화 문제를 정의하고 해결한다.
• 후보 네트워크의 학습 시간을 줄이기 위한 근사법(ESA 및 HOA)을 제안한다.
• 단일 작업 네트워크와 하나의 네트워크에 모든 작업을 포함한 모든 작업 네트워크를 포함한 기준선과 비교한다.

실험 결과

연구 질문

• RQ1 서로 다른 네트워크 용량과 데이터 환경에서 작업 관계가 다중 작업 학습 성능에 어떤 영향을 미치는가?
• RQ2 고정된 추론 시간 예산에서 총 손실을 최대화하기 위해 작업을 네트워크에 자동으로 할당할 수 있는가?
• RQ3 전이 학습 친화도(Taskonomy)가 설정 간 다중 작업 친화도를 예측하는가?
• RQ4 네트워크 성능을 예측하고 작업 그룹화 탐색을 가속화하는 효과적인 근사법은 무엇인가?

주요 결과

• 한정된 용량을 사용할 때 다중 작업 네트워크는 동일한 총 컴퓨팅에서 단일 작업 네트워크보다 성능이 떨어지지만, 용량이 재배치되거나 증가하면 더 잘 수행할 수 있다.
• 작업 친화도는 설정 의존적이며, 더 큰 네트워크일수록 더 유리한 그룹화가 드러나고, 작은 네트워크는 약하거나 다른 친화도를 보인다.
• 표면 방향 법선(Surface Normals)은 함께 훈련될 때 다른 작업의 성능을 신뢰성 있게 향상시키지만, Normals 작업 자체는 공동 학습 시 종종 악화된다.
• 전이 학습 친화도(Taskonomy)는 다중 작업 친화도를 강하게 예측하지 못하며, 설정 간 강력한 상관관계가 없다.
• 설계된 작업 그룹화 프레임워크는 예산 전반에 걸쳐 전통적 기준선(단일 작업, 모든 작업을 한 네트워크에)보다 우수할 수 있으며, 최적 그룹화는 예산과 네트워크 용량에 적응한다.