[논문 리뷰] Efficient Multitask Feature and Relationship Learning

Han Zhao, Otilia Stretcu외 2명|arXiv (Cornell University)|2017. 02. 14.

Video Surveillance and Tracking Methods참고 문헌 35인용 수 6

한 줄 요약

이 논문은 특징과 작업 간 관계를 잘 정의된 양의 정부호 공분산 행렬을 통해 함께 학습하는 새로운 다중작업 학습 프레임워크인 FETR을 제안한다. 이는 행렬 최적화 문제를 최소 무게 완전 매칭 문제로 감소시키는 폐쇄형 좌표 강하 알고리즘을 사용한다. 이 방법은 선형 및 비선형 작업 모두에서 기존 방법에 비해 수십 배의 속도 향상과 뛰어난 일반화 성능을 달성한다.

ABSTRACT

We consider a multitask learning problem, in which several predictors are learned jointly. Prior research has shown that learning the relations between tasks, and between the input features, together with the predictor, can lead to better generalization and interpretability, which proved to be useful for applications in many domains. In this paper, we consider a formulation of multitask learning that learns the relationships both between tasks and between features, represented through a task covariance and a feature covariance matrix, respectively. First, we demonstrate that existing methods proposed for this problem present an issue that may lead to ill-posed optimization. We then propose an alternative formulation, as well as an efficient algorithm to optimize it. Using ideas from optimization and graph theory, we propose an efficient coordinate-wise minimization algorithm that has a closed form solution for each block subproblem. Our experiments show that the proposed optimization method is orders of magnitude faster than its competitors. We also provide a nonlinear extension that is able to achieve better generalization than existing methods.

연구 동기 및 목표

• 기존의 다중작업 특징 및 관계 학습 프레임워크에서 비정상적인 최적화 문제를 해결하기 위해, 공분산 행렬이 양의 정부호가 아닐 수 있는 문제를 해결한다.
• 특징 및 작업 공분산 행렬의 양의 정부호성을 보장하는 잘 정의된 다중볼록 형식을 개발한다.
• 각 하위문제에 대해 해석적 해를 갖는 효율적인 블록 좌표 최소화 알고리즘을 설계하여 비용이 많이 드는 반복 최적화를 피한다.
• 신경망을 사용하여 비선형 설정으로의 확장을 통해 선형 기준선을 뛰어넘는 일반화 성능 향상을 달성한다.

제안 방법

• 특징 및 작업 공분산 행렬의 양의 정부호성을 강제하여 최적화가 잘 정의되도록 하는 MTFRL의 제약된 변형인 FETR를 제안한다.
• 각 하위문제인 가중치 학습 및 공분산 추정이 폐쇄형 해를 갖는 블록 좌표 방식의 최소화를 사용한다.
• 공분산 행렬 추정 문제를 완전 이분 그래프 상의 최소 무게 완전 매칭 문제로 감소시켜 조합 최적화 방법으로 해결한다.
• 예제가 작업 간에 공유될 경우 웨이트 학습을 위해 실리우스 방정식 해법을 사용하고, 그렇지 않으면 경사 하강법을 사용한다.
• 다중작업 신경망의 최종 레이어에 FETR 정규화를 통합하여 비선형 확장인 FETR-NN을 도입한다.
• 선형 및 비선형 모델 모두에 동일한 프레임워크를 적용하여 다양한 설정에서 일관된 성능 향상을 가능하게 한다.

실험 결과

연구 질문

• RQ1 비정상적인 최적화 문제로 인해 공분산 추정이 양의 정부호가 아닐 수 있는 기존 MTFRL 스타일의 방법을 피할 수 있는 잘 정의된 다중작업 학습 형식을 설계할 수 있는가?
• RQ2 반복 절차 없이도 공분산 행렬 추정 문제를 폐쇄형으로 해결할 수 있는가? 이는 계산 효율성을 향상시킬 수 있는가?
• RQ3 제안된 FETR 프레임워크는 실제 데이터셋에서 기존의 다중작업 학습 기준선보다 더 나은 일반화 성능을 달성하는가?
• RQ4 FETR 프레임워크는 신경망과 같은 비선형 모델로 효과적으로 확장되어 성능 향상을 이룰 수 있는가?
• RQ5 추정된 특징 및 작업 공분산 행렬은 작업과 특징 간의 해석 가능하고 의미 있는 관계를 제공하는가?

주요 결과

• 기존 방법이 반복적인 공분산 추정을 사용하는 데 비해, FETR는 폐쇄형 조합 해법으로 대체함으로써 최적화 속도를 수십 배 향상시켰다.
• SARCOS 및 School 데이터셋에서 모두 단일 작업 학습, MTL, MTFRL을 포함한 모든 기준선보다 낮은 정규화된 평균 제곱 오차(NMSE)를 지속적으로 달성했다.
• SARCOS 데이터셋에서 FETR가 추정한 특징 및 작업 공분산 행렬은 블록 대각 행렬 구조를 보이며, 물리적 관절 운동과 일치하는 의미 있는 작업 상관관계를 나타낸다.
• 비선형 확장인 FETR-NN은 모든 작업에서 MT-NN 및 MTFRL-NN을 능가하여, 이 프레임워크가 딥 러닝 환경에서 일반화 성능을 향상시킨다는 것을 입증한다.
• 추정된 작업 및 특징 공분산 행렬은 해석 가능하며, FETR가 작업과 특징 간의 의미 있는 구조적 관계를 포착하고 있음을 보여준다.