[논문 리뷰] Efficient Continuous Pareto Exploration in Multi-Task Learning

Pingchuan Ma, Tao Du외 1명|arXiv (Cornell University)|2020. 06. 29.

Educational Technology and Assessment인용 수 30

한 줄 요약

딥 멀티태스킹 학습에서 이차(Hessian-free) 접근법과 Krylov 솔버를 사용하여 태스크 간의 트레이드오프를 탐색하고 로컬 연속 Pareto 세트와 프런트를 재구성하는 효율적인 방법을 소개합니다.

ABSTRACT

Tasks in multi-task learning often correlate, conflict, or even compete with each other. As a result, a single solution that is optimal for all tasks rarely exists. Recent papers introduced the concept of Pareto optimality to this field and directly cast multi-task learning as multi-objective optimization problems, but solutions returned by existing methods are typically finite, sparse, and discrete. We present a novel, efficient method that generates locally continuous Pareto sets and Pareto fronts, which opens up the possibility of continuous analysis of Pareto optimal solutions in machine learning problems. We scale up theoretical results in multi-objective optimization to modern machine learning problems by proposing a sample-based sparse linear system, for which standard Hessian-free solvers in machine learning can be applied. We compare our method to the state-of-the-art algorithms and demonstrate its usage of analyzing local Pareto sets on various multi-task classification and regression problems. The experimental results confirm that our algorithm reveals the primary directions in local Pareto sets for trade-off balancing, finds more solutions with different trade-offs efficiently, and scales well to tasks with millions of parameters.

연구 동기 및 목표

• 다중 태스크 학습에서 단일 해법 최적화를 넘어 트레이드오프를 탐색할 필요성을 제시합니다.
• 딥 MTL에서 로컬 Pareto 세트를 복구하고 확장하기 위한 두 단계 알고리즘을 제안합니다.
• 대규모 신경망에 적합한 확장 가능하고 밀집한 Pareto 프런트 분석을 달성합니다.
• 직관적 탐색을 위한 로컬 Pareto 세트의 연속 매개화가 가능하게 합니다.

제안 방법

• 지역 접선면 확장을 통해 1차 및 2차 정보를 활용해 Pareto 최적성 및 로컬 Pareto 세트를 구한다(그래디언트 및 Hessian 포함).
• 그래디언트 결합의 가중치 alpha를 얻기 위해 작은 볼록 문제를 풀어 Pareto 정적점(Pareto stationary point)을 계산한다.
• 전체 Hessian 계산을 피하기 위해 행렬-자유 Krylov 방법(MINRES)을 사용하여 대규모 희소 Hessian 기반 선형 시스템을 풀어 접선 방향을 추정한다.
• 안정성을 위한 정규화를 사용하여 x* + s v 형태로 접선 방향을 따라 Pareto 정적점에서 확장하여 후보점을 생성한다.
• 로컬 선형 부분공간을 형성하기 위해 Pareto 점과 그것의 탐색 방향을 볼록 결합하여 연속적인 로컬 Pareto 세트를 구축한다.
• 충돌을 감지하고 병합하여 더 큰 연속 Pareto 프런트를 형성하도록 로컬 프런트를 이어 붙인다.

실험 결과

연구 질문

• RQ1 제안된 접선 기반 확장이 딥 멀티태스크 학습에서 로컬 Pareto 세트를 충실히 근사할 수 있는가?
• RQ2 방법이 유사한 계산 예산 내에서 이산 해법 기반의 기준선보다 더 조밀하고 다양한 Pareto 프런트를 생성하는가?
• RQ3 수백만 개의 매개변수를 가진 네트워크에서도 효율성을 유지하며 확장 가능한가?
• RQ4 로컬 Pareto 세트를 직관적 탐색을 위한 저차원 공간으로 재매개할 수 있는가?

주요 결과

• 전통적인 이산 해법보다 상당히 밀집한 Pareto 프런트를 생성하되 전체 MTL 학습에 비해 경미한 오버헤드로 처리합니다.
• Hessian-vector 곱과 함께 MINRES를 사용하여 탐색 방향을 효율적으로 얻고 네트워크 크기에 대해 선형적으로 확장되며(O(kn))를 달성합니다.
• 여러 데이터셋과 아키텍처에 걸쳐 다양한 트레이드오프 해를 발견하는 데에서 베이스라인을 능가합니다.
• 연속 Pareto 세트가 직관적인 조작과 탐색을 위해 저차원 공간에서 재매개될 수 있음을 보여줍니다.
• 중간 크기 데이터셋(MultiMNIST)에서 수백만 매개변수를 가진 대형 네트워크(예: UTKFace)까지 방법의 확장성을 보입니다.