[논문 리뷰] Safe Screening for Multi-Task Feature Learning with Multiple Data Matrices

Jie Wang, Jieping Ye|arXiv (Cornell University)|2015. 05. 15.

Sparse and Compressive Sensing Techniques참고 문헌 39인용 수 9

한 줄 요약

이 논문은 다중 데이터 행렬을 사용하는 다중작업 특징 학습에 대해 새로운 안전 스크리닝 규칙인 DPC(Dual Projection onto Convex Sets)를 제안한다. 이 규칙은 이중 문제의 기하적 성질을 활용하고, 비볼록 스크리닝 조건을 이차제약이 있는 이차계획문제(QCQP)로 재구성함으로써, 모든 작업에서 계수 값이 0인 특징(비활성 특징)을 효율적으로 식별한다. 이는 정확도 손실 없이 막대한 계산량 절감을 가능하게 하며, 특히 고차원 설정에서 두각을 나타낸다.

ABSTRACT

Multi-task feature learning (MTFL) is a powerful technique in boosting the predictive performance by learning multiple related classification/regression/clustering tasks simultaneously. However, solving the MTFL problem remains challenging when the feature dimension is extremely large. In this paper, we propose a novel screening rule---that is based on the dual projection onto convex sets (DPC)---to quickly identify the inactive features---that have zero coefficients in the solution vectors across all tasks. One of the appealing features of DPC is that: it is safe in the sense that the detected inactive features are guaranteed to have zero coefficients in the solution vectors across all tasks. Thus, by removing the inactive features from the training phase, we may have substantial savings in the computational cost and memory usage without sacrificing accuracy. To the best of our knowledge, it is the first screening rule that is applicable to sparse models with multiple data matrices. A key challenge in deriving DPC is to solve a nonconvex problem. We show that we can solve for the global optimum efficiently via a properly chosen parametrization of the constraint set. Moreover, DPC has very low computational cost and can be integrated with any existing solvers. We have evaluated the proposed DPC rule on both synthetic and real data sets. The experiments indicate that DPC is very effective in identifying the inactive features---especially for high dimensional data---which leads to a speedup up to several orders of magnitude.

연구 동기 및 목표

• 매우 고차원 특징 공간을 가진 다중작업 특징 학습(MTFL) 문제를 해결하는 데 발생하는 계산적 과제를 해결하기 위해.
• 모든 작업에서 계수 값이 0인 비활성 특징을 안전하게 식별하고 최적화 이전에 제거할 수 있는 스크리닝 규칙을 개발하기 위해.
• 기존의 단일 데이터 행렬에만 적용 가능한 스크리닝 방법을, MTFL에서 본질적으로 존재하는 다중 행렬 설정으로 확장하기 위해.
• 스크리닝 규칙이 증명 가능하게 안전하도록(즉, 올바른 특징이 제거되지 않도록) 하면서도 계산 오버헤드를 최소화하기 위해.
• 기본 최적화 알고리즘을 수정하지 않고도 기존의 어떤 MTFL 솔버와도 통합할 수 있도록 하기 위해.

제안 방법

• 다중 데이터 행렬을 사용하는 MTFL 모델의 이중 문제를 수립하고, 내적의 이중선형성(bilinearity)을 활용하여 기하적 구조를 드러내기 위해.
• 이중 탇행세트를 볼록집합으로 정의하고, 이중 최적해를 이 벡터를 그 집합 위로 투영한 것으로 식별하기 위해.
• 비볼록 스크리닝 조건(볼록 함수를 볼록집합 위에서 최대화하는 것)을 제약집합의 철저한 매개변수화를 통해 이차제약이 있는 이차계획문제(QCQP)로 변환하기 위해.
• 해결된 QCQP를 효율적으로 풀어 전역 최적해를 확보함으로써, 스크리닝 규칙이 안전하고 계산적으로 경량임을 보장하기 위해.
• 해결 결과를 이용해 최종 해에서 계수 값이 0으로 보장되는 특징들이 훈련 데이터에서 안전하게 제거될 수 있음을 판단하기 위해.
• 표준 MTFL 솔버에 적용 가능한 전처리 단계로 스크리닝 규칙을 통합하기 위해, 솔버 자체의 수정 없이 적용 가능하도록 하기 위해.

실험 결과

연구 질문

• RQ1 단일 데이터 행렬이 아닌 다중 데이터 행렬을 사용하는 다중작업 특징 학습 모델에 대해 안전한 스크리닝 규칙을 개발할 수 있는가?
• RQ2 이중 문제에서 유도된 비볼록 스크리닝 조건을 어떻게 해결 가능한 볼록 최적화 문제로 변환할 수 있는가?
• RQ3 스크리닝 규칙이 효율적이고 증명 가능한 안전성을 확보하기 위해 어떤 이중 탇행세트의 기하적 성질을 활용할 수 있는가?
• RQ4 고차원 데이터에서 특징 차원이 증가함에 따라 제안된 DPC 규칙의 성능은 어떻게 변화하는가?
• RQ5 실제 MTFL 응용에서 DPC는 솔루션 정확도를 훼손하지 않으면서 계산 비용과 메모리 사용량을 얼마나 줄일 수 있는가?

주요 결과

• DPC는 100% 안전도로 비활성 특징을 식별하여, 해에서 계수 값이 0인 특징이 잘못 제거되지 않음을 보장한다.
• 합성 및 실제 데이터셋 모두에서 수개의 주기수의 속도 향상을 달성하며, 특히 고차원 설정에서 두각을 나타낸다.
• 특징 수가 매우 클 경우에도 효과적이며, 유사도가 증가할수록 성능이 향상된다.
• DPC 규칙은 기존의 어떤 MTFL 솔버와도 원활하게 통합되며, 최소한의 오버헤드로 막대한 계산 절감 효과를 낸다.
• 제안된 QCQP 재구성은 스크리닝 조건의 효율적 전역 최적화를 가능하게 하여 비볼록성의 과제를 극복한다.
• 실험 결과 DPC는 고차원 데이터에서 기존 스크리닝 방법보다 특징 제거 비율과 계산 효율성 측면에서 뛰어나다.