[논문 리뷰] Exact Pareto Optimal Search for Multi-Task Learning: Touring the Pareto Front.

Debabrata Mahapatra, Vaibhav Rajan|arXiv (Cornell University)|2021. 08. 02.

Advanced Multi-Objective Optimization Algorithms참고 문헌 80인용 수 6

한 줄 요약

이 논문은 상자 제약 조건과 등식 제약 조건 하에서 다중 작업 학습(MTL)에서 정확한 파레토 최적(EPO) 해를 찾는 데 있어 이론적 수렴 보장을 갖춘 첫 번째 확장 가능한 알고리즘을 제안한다. 이는 기울기 강하와 통제된 상승을 새로운 조합으로 사용하여 파레토 경계를 탐색한다. 이는 상호 간의 상충 관계를 체계적으로 탐색할 수 있게 하며, 벤치마크 MTL 데이터셋에서 기존 방법들을 능가한다.

ABSTRACT

Multi-Task Learning (MTL) is a well-established paradigm for training deep neural network models for multiple correlated tasks. Often the task objectives conflict, requiring trade-offs between them during model building. In such cases, MTL models can use gradient-based multi-objective optimization (MOO) to find one or more Pareto optimal solutions. A common requirement in MTL applications is to find an {\it Exact} Pareto optimal (EPO) solution, which satisfies user preferences with respect to task-specific objective functions. Further, to improve model generalization, various constraints on the weights may need to be enforced during training. Addressing these requirements is challenging because it requires a search direction that allows descent not only towards the Pareto front but also towards the input preference, within the constraints imposed and in a manner that scales to high-dimensional gradients. We design and theoretically analyze such search directions and develop the first scalable algorithm, with theoretical guarantees of convergence, to find an EPO solution, including when box and equality constraints are imposed. Our unique method combines multiple gradient descent with carefully controlled ascent to traverse the Pareto front in a principled manner, making it robust to initialization. This also facilitates systematic exploration of the Pareto front, that we utilize to approximate the Pareto front for multi-criteria decision-making. Empirical results show that our algorithm outperforms competing methods on benchmark MTL datasets and MOO problems.

연구 동기 및 목표

• 작업 목적이 상충하고 사용자 선호도를 충족시켜야 하는 다중 작업 학습(MTL)에서 정확한 파레토 최적(EPO) 해를 찾는 데 도전하는 것.
• 복잡한 제약 조건 하에서도 파레토 경계로 향하는 내림내림과 사용자 지정 선호도와의 일치를 동시에 달성할 수 있는 탐색 방향을 설계하는 것.
• 특히 상자 제약 조건과 등식 제약 조건을 강제할 때 고차원 기울기 공간에서의 확장성과 수렴성을 보장하는 것.
• 다중 기준 의사결정을 위한 파레토 경계의 체계적 탐색을 가능하게 하는 것.
• 초기화에 민감하지 않으면서도 EPO 해로의 이론적 수렴 보장을 유지하는 방법을 개발하는 것.

제안 방법

• 이 방법은 다수의 기울기 강하 단계와 철저히 통제된 상승을 조합하여 원칙적인 방식으로 파레토 경계를 횡단하는 새로운 탐색 방향을 도입한다.
• 내림내림이 파레토 경계로 향하는 동안 상승이 사용자 선호도에 따라 이끄는 제약 조건이 있는 최적화 문제를 수립한다.
• 알고리즘은 상자 제약 조건과 등식 제약 조건을 최적화 과정에 직접 통합하여 전체 학습 기간 동안 타당한 해를 보장한다.
• 이론적 분석을 통해 비볼록 목표 함수와 고차원 기울기 공간에서도 제안된 탐색 역학 하에서 EPO 해로의 수렴을 증명한다.
• 선호도 파라미터를 변화시켜 파레토 경계의 체계적 탐색을 가능하게 하여 다중 기준 의사결정을 지원한다.
• 작업 목표에서의 내림내림과 선호도에 맞는 방향으로의 상승을 균형 잡는 이중 최적화 프레임워크를 사용하여 초기화에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 일반적인 제약 조건 하에서 다중 작업 학습에서 정확한 파레토 최적(EPO) 해를 찾는 확장 가능하고 수렴 보장이 되는 알고리즘을 어떻게 설계할 수 있는가?
• RQ2 어떤 탐색 방향이 제약 조건이 있는 최적화 설정에서 파레토 경계로의 내림내림과 사용자 지정 선호도와의 일치를 동시에 가능하게 하는가?
• RQ3 고차원 MTL 문제에서 초기화에 대한 강건성을 유지하면서도 이론적 수렴 보장을 확보하기 위해선 어떻게 해야 하는가?
• RQ4 제안된 방법은 파레토 경계를 어떻게 체계적으로 탐색하여 다중 기준 의사결정을 지원하는가?
• RQ5 상자 제약 조건과 등식 제약 조건을 통합함으로써 EPO 해를 찾는 데 있어 수렴성과 성능에 어떤 영향을 미치는가?

주요 결과

• 제안된 알고리즘은 상자 제약 조건과 등식 제약 조건 하에서 정확한 파레토 최적(EPO) 해로의 이론적 수렴을 달성하였으며, 딥 MTL 맥락에서 이는 처음이다.
• 실험 결과는 경쟁하는 다중 목표 최적화 방법들보다 벤치마크 MTL 데이터셋에서 뛰어난 성능을 보였다.
• 선호도 파라미터를 변화시켜 파레토 경계의 체계적 탐색을 가능하게 하여 정보 기반의 다중 기준 의사결정을 지원한다.
• 내림내림과 통제된 상승을 원칙적으로 조합한 탐색 방향 덕분에 초기화에 대해 강건하다.
• 최적화 과정에 제약 조건을 통합함으로써 고차원 기울기 공간에서도 수렴성이나 확장성에 손상이 가지 않는다.
• 다양한 MOO 문제와 MTL 벤치마크에서 해의 품질과 안정성 측면에서 기존 접근 방법을 모두 능가한다.