[논문 리뷰] Multi-Task Feature Learning Via Efficient l2,1-Norm Minimization

Jun Liu, Shuiwang Ji외 1명|arXiv (Cornell University)|2012. 05. 09.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 553

한 줄 요약

이 논문은 l2,1-노름 정규화를 사용한 다중 작업 특징 학습을 위한 효율적인 최적화 방법을 제안한다. 이 방법은 작업 간 공통의 희박성(shared sparsity)를 촉진한다. 비미분 가능 문제를 두 개의 부드러운 볼록 최적화 문제로 재구성하고, 이를 네스테로프의 최적의 일阶 방법으로 풀어 빠른 수렴 속도를 달성한다. 해석적으로 계산 가능한 또는 선형 시간 내에 유클리드 투영을 수행함으로써, 기준 데이터셋에서 계산 효율성이 크게 향상된다.

ABSTRACT

The problem of joint feature selection across a group of related tasks has applications in many areas including biomedical informatics and computer vision. We consider the l2,1-norm regularized regression model for joint feature selection from multiple tasks, which can be derived in the probabilistic framework by assuming a suitable prior from the exponential family. One appealing feature of the l2,1-norm regularization is that it encourages multiple predictors to share similar sparsity patterns. However, the resulting optimization problem is challenging to solve due to the non-smoothness of the l2,1-norm regularization. In this paper, we propose to accelerate the computation by reformulating it as two equivalent smooth convex optimization problems which are then solved via the Nesterov's method-an optimal first-order black-box method for smooth convex optimization. A key building block in solving the reformulations is the Euclidean projection. We show that the Euclidean projection for the first reformulation can be analytically computed, while the Euclidean projection for the second one can be computed in linear time. Empirical evaluations on several data sets verify the efficiency of the proposed algorithms.

연구 동기 및 목표

• 기계 학습에서 다수의 관련 작업 간 공동 특징 선택 문제를 해결하기 위해.
• 다중 작업 회귀에서 비미분 가능 l2,1-노름 정규화로 인한 계산 난이도를 극복하기 위해.
• 대규모 다중 작업 학습 문제에 대해 수렴 속도를 가속화하는 확장 가능하고 효율적인 최적화 프레임워크를 개발하기 위해.
• 부드러운 재구성 기법을 통해 계산 복잡도를 감소시켜 l2,1-노름 정규화 모델의 실용적 구현을 가능하게 하기 위해.

제안 방법

• 비미분 가능한 l2,1-노름 정규화 다중 작업 학습 문제를 두 개의 동치인 부드러운 볼록 최적화 문제로 재구성하기 위해.
• 부드러운 재구성 문제를 해결하기 위해 네스테로프의 최적의 일阶 방법을 적용하여 빠른 수렴 속도를 확보하기 위해.
• 첫 번째 재구성 문제의 유클리드 투영을 해석적으로 계산하여 폐형 업데이트를 가능하게 하기 위해.
• 두 번째 재구성 문제에서 유클리드 투영을 선형 시간 알고리즘으로 구현하여 확장성 확보하기 위해.
• l2,1-노름의 구조를 활용하여 다수의 예측기 간 공통의 희박성 패턴을 촉진하기 위해.
• l2,1-노름을 지수족의 사전 확률로 해석하여 모델의 통계적 기반을 정당화하기 위해.

실험 결과

연구 질문

• RQ1 다중 작업 학습에서 비미분 가능한 l2,1-노름 정규화 문제는 부드러운 최적화 기법을 통해 효율적으로 해결될 수 있는가?
• RQ2 재구성된 최적화 문제에서 유클리드 투영의 계산 복잡도는 무엇이며, 이를 효율적으로 계산할 수 있는가?
• RQ3 기존의 접근 방식과 비교해 볼 때 제안된 방법은 다중 작업 특징 학습에서 수렴 속도와 확장성 측면에서 어떻게 성능을 발휘하는가?
• RQ4 부드러운 재구성은 원래 l2,1-노름 모델의 공통 희박성 성질을 유지할 수 있는가?

주요 결과

• 제안된 방법은 부드러운 재구성에 네스테로프의 최적 방법을 적용함으로써 기존의 일阶 방법보다 더 빠른 수렴 속도를 달성한다.
• 첫 번째 재구성 문제에서 유클리드 투영은 폐형으로 계산 가능하여 효율적인 업데이트를 가능하게 한다.
• 두 번째 재구성 문제에서 유클리드 투영은 선형 시간 내에 계산 가능하여 대규모 문제에 대한 확장성 보장한다.
• 다양한 데이터셋에서의 실험 평가 결과, 계산 시간에 있어 뚜렷한 속도 향상이 나타났으며, 특징 선택 성능는 유지 또는 향상되었다.