[논문 리뷰] Controllable Pareto Multi-Task Learning

Xi Lin, Zhiyuan Yang외 2명|arXiv (Cornell University)|2020. 10. 13.

Machine Learning and Data Classification참고 문헌 54인용 수 22

한 줄 요약

이 논문은 단일 하이퍼넷워크 기반 모델을 사용하여 다중 작업 간 실시간 트레이드오프 제어가 가능한 제어 가능한 파레토 다중작업 학습 프레임워크를 제안한다. 선호도 벡터에 조건부로 모델 파라미터를 설정함으로써 전체 파레토 프론트를 종단간(end-to-end)으로 학습하며, 복수의 모델을 훈련하고 저장할 필요 없이 효율적인 동적 성능 조정을 가능하게 하며, 벤치마크 데이터셋에서 강력한 실험 결과를 보이며 다양한 MTL 응용 분야에서 효율성을 확보한다.

ABSTRACT

A multi-task learning (MTL) system aims at solving multiple related tasks at the same time. With a fixed model capacity, the tasks would be conflicted with each other, and the system usually has to make a trade-off among learning all of them together. For many real-world applications where the trade-off has to be made online, multiple models with different preferences over tasks have to be trained and stored. This work proposes a novel controllable Pareto multi-task learning framework, to enable the system to make real-time trade-off control among different tasks with a single model. To be specific, we formulate the MTL as a preference-conditioned multiobjective optimization problem, with a parametric mapping from preferences to the corresponding trade-off solutions. A single hypernetwork-based multi-task neural network is built to learn all tasks with different trade-off preferences among them, where the hypernetwork generates the model parameters conditioned on the preference. For inference, MTL practitioners can easily control the model performance based on different trade-off preferences in real-time. Experiments on different applications demonstrate that the proposed model is efficient for solving various MTL problems.

연구 동기 및 목표

• 실세계 응용에서 충돌하는 작업들 간의 다중작업 학습(MTL) 문제에서 동적 트레이드오프를 해결하기 위해.
• 다양한 트레이드오프 선호도에 맞게 복수의 모델을 훈련하고 저장하는 데 드는 비용과 비효율성을 제거하기 위해.
• 사용자가 지정한 선호도에 기반해 다양한 파레토 최적 해를 생성하는 통합형, 종단간 훈련 가능한 프레임워크를 개발하기 위해.
• 단일 학습된 모델을 사용해 추론 시점에서 작업 성능 트레이드오프를 실시간으로 제어할 수 있도록 하기 위해.

제안 방법

• 선호도가 파레토 프론트 상의 특정 트레이드오프 해에 대응하는 다중목표 최적화 문제로 MTL를 공식화한다.
• 선호도 벡터 입력에 따라 작업별 모델 파라미터를 생성하는 하이퍼넷워크 기반 MTL 아키텍처를 설계한다.
• 선호도에서 트레이드오프 해로의 매개변수화된 매핑을 사용하여 파레토 프론트 전역에서 연속적이고 제어 가능한 보간을 가능하게 한다.
• 공유 표현과 하이퍼넷워크를 통해 생성된 작업별 헤드를 활용해 단일 모델을 사용해 전체 시스템을 종단간으로 훈련한다.
• 작업별 및 공유 파라미터를 효율적으로 표현하기 위해 선호도 임베딩과 청크 임베딩을 통합한다.
• 표준 딥러닝 훈련 절차(예: Adam, 교차엔트로피, L1 손실)를 사용해 하이퍼파라미터를 작업 간 균형 있게 최적화한다.

실험 결과

연구 질문

• RQ1 단일 MTL 모델이 다수의 작업 간 전체 파레토 프론트의 트레이드오프 해를 학습할 수 있는가?
• RQ2 선호도 조건부 하이퍼넷워크가 추론 시점에서 작업 성능 트레이드오프를 실시간으로 동적 제어할 수 있는가?
• RQ3 다양한 트레이드오프에 대해 복수의 별도 모델을 훈련하는 것과 비교해 효율성과 성능 측면에서 제안된 방법은 어떻게 되는가?
• RQ4 많은 작업 수나 복잡한 아키텍처를 가진 대규모 MTL 문제에 대해 이 방법은 확장 가능한가?

주요 결과

• 제안된 방법은 다중작업 학습 문제의 전체 파레토 프론트를 성공적으로 학습하여 단일 모델로 실시간 트레이드오프 제어를 가능하게 한다.
• 20개의 작업을 포함한 MultiMNIST, CityScapes, NYUv2, CIFAR-100에서의 실험 결과, 다양한 MTL 작업 간 일관된 성능을 보였다.
• 기본 모델 대비 경쟁력 있거나 뛰어난 성능을 달성하면서도 복수의 모델 저장이 필요 없음을 입증했다.
• 20개의 작업을 포함한 대규모 MTL 문제에 대해서도 잘 확장되며, 강건성과 일반화 능력을 입증했다.
• 추론 시점의 기반 선호도 제어를 통해 재학습 없이도 사용자가 성능 트레이드오프를 동적으로 조정할 수 있다.