[논문 리뷰] Graph-Structured Multi-task Regression and an Efficient Optimization Method for General Fused Lasso Manuscript

Xi Chen, Se Young Kim외 3명|arXiv (Cornell University)|2018. 06. 30.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 66

한 줄 요약

이 논문은 출력 변수 간의 그래프 구조를 활용하여 상관관계가 있는 출력 변수들이 관련 입력을 공유하도록 융합 페널티를 통해 유도하는 그래프 구조 기반 다중 작업 회귀(Graph-Structured Multi-task Regression)를 제안한다. 저자들은 수렴성과 확장성 면에서 표준 1차 및 2차 방법을 능가하는 빠르고 확장 가능한 프록시멀-그래디언트 방법을 개발하였으며, 이는 이론적 일致성과 함께 구조화된 다중 작업 학습 과제에서 뛰어난 성능을 보인다.

ABSTRACT

We consider the problem of learning a structured multi-task regression, where the output consists of multiple responses that are related by a graph and the correlated response variables are dependent on the common inputs in a sparse but synergistic manner. Previous methods such as l1/l2 -regularized multi-task regression assume that all of the output variables are equally related to the inputs, although in many real-world problems, outputs are related in a complex manner. In this paper, we propose graph-guided fused lasso (GFlasso) for structured multi-task regression that exploits the graph structure over the output variables. We introduce a novel penalty function based on fusion penalty to encourage highly correlated outputs to share a common set of relevant inputs. In addition, we propose a simple yet efficient proximal-gradient method for optimizing GFlasso that can also be applied to any optimization problems with a convex smooth loss and the general class of fusion penalty defined on arbitrary graph structures. By exploiting the structure of the non-smooth “fusion penalty”, our method achieves a faster convergence rate than the standard first-order method, sub-gradient method, and is significantly more scalable than the widely adopted second-order cone-programming and quadratic-programming formulations. In addition, we provide an analysis of the consistency property of the GFlasso model. Experimental results not only demonstrate the superiority of GFlasso over the standard lasso but also show the efficiency and scalability of our proximal-gradient method.

연구 동기 및 목표

• 모든 출력 변수와 입력 변수 간의 관계가 동일하다는 가정을 하는 표준 l1/l2 다중 작업 회귀의 한계를 해결하기 위해, 출력 변수 간의 복잡한 구조적 의존성을 모델링한다.
• 다중 반응 변수 간의 그래프 구조적 관계를 활용하여 입력 선택의 효율성과 희박성(스패arsity)을 향상시킨다.
• 임의의 그래프 구조에 대해 일반 융합 라소 문제를 위한 효율적인 최적화 알고리즘을 개발한다.
• 적절한 조건 하에서 GFlasso 모델의 이론적 일치성을 확보하여 고차원 설정에서 신뢰할 수 있는 추정을 지원한다.
• 실세계의 다중 반응 회귀 과제에서 표준 라소나 다중 작업 라소보다 구조화된 융합 페널티가 더 뛰어난 성능을 낼 수 있음을 입증한다.

제안 방법

• 유사한 입력 계수 패턴을 취하도록 상관관계가 있는 출력 변수 간의 관계를 장려하기 위해 그래프 구조에 기반한 새로운 융합 페널티를 제안한다.
• 무작위 그래프에 대해 일반 융합 페널티를 포함하는 볼록 최적화 문제로 GFlasso 목적함수를 수립한다.
• 비미분 가능 융합 페널티의 구조를 활용하여 표준 서브그래디언트 또는 1차 방법을 초월해 수렴 속도를 향상시키는 프록시멀-그래디언트 방법을 설계한다.
• 임의의 그래프 구조에 대해 볼록 미분 가능 손실 함수와 융합 페널티를 갖는 문제에 적용 가능한 최적화 방법을 보장한다.
• 각 반복 단계에서 업데이트를 효율적으로 계산하기 위해 융합 페널티에 특화된 프록시멀 연산자를 활용한다.
• 선형 검색을 통합한 1차 최적화 프레임워크에 통합하여 수렴성을 확보하면서도 확장성을 유지한다.

실험 결과

연구 질문

• RQ1 출력 변수 간의 그래프 구조적 관계를 통합함으로써 다중 작업 회귀 모델의 성능을 향상시킬 수 있는가?
• RQ2 제안된 융합 페널티는 표준 라소나 다중 작업 라소보다 상관관계가 있는 출력 변수 간의 더 나은 희박성과 입력 선택 공유를 이끌 수 있는가?
• RQ3 임의의 그래프에서 일반 융합 라소 문제를 효율적으로 최적화할 수 있는 프록시멀-그래디언트 방법을 설계할 수 있는가? 이는 기존의 2차 방법 및 1차 방법을 능가하는가?
• RQ4 적절한 정규성 조건 하에서 GFlasso 모델은 일致성을 보장하는가? 이는 표본 크기가 증가함에 따라 신뢰할 수 있는 추정을 보장하는가?
• RQ5 기존의 이차 프로그래밍 또는 2차 원형 프로그래밍 공식화와 비교해, 제안된 방법은 문제 크기와 그래프 복잡성이 증가함에 따라 어떻게 확장되는가?

주요 결과

• GFlasso 모델은 출력 변수 간 상관관계가 존재할 경우, 표준 라소나 다중 작업 라소보다 구조화된 다중 작업 회귀 과제에서 뛰어난 성능을 발휘한다.
• 융합 페널티의 구조를 활용함으로써 제안된 프록시멀-그래디언트 방법은 표준 서브그래디언트 및 1차 방법보다 수렴 속도가 크게 빠르다.
• 기존의 2차 원형 프로그래밍 및 이차 프로그래밍 공식화보다 상당히 더 확장 가능하여 대규모 문제에 적용할 수 있다.
• 이론적 분석을 통해 GFlasso 추정기의 일치성이 확인되어 고차원 설정에서의 신뢰성을 뒷받침한다.
• 실험 결과는 GFlasso가 상관관계가 있는 출력 변수 간의 공통된 관련 입력을 효과적으로 식별함으로써 모델의 해석 가능성과 예측 정확도를 향상시킨다.
• 최적화 프레임워크는 일반적이며, 볼록 미분 가능 손실 함수와 임의의 그래프 구조를 갖는 모든 융합 라소 문제에 적용 가능하므로 실용적 유용성이 높다.