[논문 리뷰] Tree-Guided Group Lasso for Multi-Task Regression with Structured Sparsity

Se Young Kim, Eric P. Xing|arXiv (Cornell University)|2018. 06. 29.

Statistical Methods and Inference인용 수 16

한 줄 요약

이 논문은 다중 작업 회귀에서 사전에 알려진 트리 구조적 출력 관계를 활용하여 출력 군집 간의 희박성(스패arsity)을 강제하는 구조적 정규화 방법인 트리 가이드드 그룹 라소를 제안한다. 그룹 라소 페널티에서 중첩된 그룹에 대해 체계적인 가중치 부여 방식을 설계함으로써, 균형 잡힌 페널티 부여를 보장하고 대규모 최적화를 효율적으로 가능하게 한다. 기존 방법들과 비교해 시뮬레이션 데이터와 효모 데이터에서 예측 정확도와 희박성 패턴 복원 능력에서 뛰어난 성능을 보였다.

ABSTRACT

We consider the problem of learning a sparse multi-task regression, where the structure in the outputs can be represented as a tree with leaf nodes as outputs and internal nodes as clusters of the outputs at multiple granularity. Our goal is to recover the common set of relevant inputs for each output cluster. Assuming that the tree structure is available as prior knowledge, we formulate this problem as a new multi-task regularized regression called tree-guided group lasso. Our structured regularization is based on a grouplasso penalty, where groups are defined with respect to the tree structure. We describe a systematic weighting scheme for the groups in the penalty such that each output variable is penalized in a balanced manner even if the groups overlap. We present an efficient optimization method that can handle a largescale problem. Using simulated and yeast datasets, we demonstrate that our method shows a superior performance in terms of both prediction errors and recovery of true sparsity patterns compared to other methods for multi-task learning.

연구 동기 및 목표

• 다중 작업 회귀 문제에서 출력 간의 구조적 관계를 고려하여 사전 트리 지식을 학습 과정에 통합하는 것.
• 트리 구조에 의해 정의된 출력 클러스터링의 다중 수준에서 희박성을 촉진하는 정규화 방법을 개발하는 것.
• 트리 구조적 계층에서 중첩된 그룹이 존재하더라도 개별 출력에 대한 페널티가 균형 잡히도록 보장하는 것.
• 구조적 희박성을 유지하면서도 대규모 다중 작업 회귀 문제에 대해 효율적인 최적화를 가능하게 하는 것.
• 다중 작업 학습에서 예측 정확도와 진짜 기저 희박성 패턴의 복원 능력을 모두 향상시키는 것.

제안 방법

• 출력의 내부 노드로 정의된 그룹을 사용하여 다중 작업 회귀를 수식화하며, 잎 노드는 개별 출력을 나타낸다.
• 각 출력이 중첩된 그룹에 속할 때의 페널티를 균형 있게 유지하기 위해 체계적인 가중치 부여 방식을 도입한다. 이는 희박성 유도 과정에서 공정성과 일관성을 보장한다.
• 각 출력이 다중 계층적 그룹에 속하는 정도에 비례하여 페널티를 구성함으로써, 깊이가 깊거나 浅은 노드에 대한 페널티 편향을 방지한다.
• 트리 구조적 그룹 라소 수식에 특화된 프록시 방법을 활용하여 대규모 문제를 효율적으로 해결할 수 있는 최적화 알고리즘을 개발한다.
• 나무를 통해 출력 관계의 사전 지식을 통합함으로써 출력의 계층적 클러스터링과 클러스터 간 공유된 특징 선택을 가능하게 한다.
• 최적화 과정은 수렴성과 확장성을 보장하여 고차원, 대규모 데이터셋에 적용 가능한 방법이 된다.

실험 결과

연구 질문

• RQ1 트리 구조적 출력 관계를 통합함으로써 다중 작업 회귀의 정확도와 희박성 복원 능력이 향상되는가?
• RQ2 계층적 트리 구조에서 중첩된 그룹을 공정하게 페널티 부여하기 위해선 어떻게 해야 하는가? 이는 특징 선택에서 편향을 방지하는가?
• RQ3 제안된 트리 가이드드 그룹 라소가 표준 그룹 라소 및 기타 다중 작업 학습 방법보다 예측 오차와 희박성 패턴 복원 능력에서 뛰어나게 되는가?
• RQ4 대규모 데이터셋에 대해 효율적으로 확장되면서도 구조적 희박성을 유지할 수 있는가?
• RQ5 합성 데이터와 실제 세계 데이터에서 진짜 기저 희박성 패턴을 얼마나 잘 복원하는가?

주요 결과

• 트리 가이드드 그룹 라소 방법은 시뮬레이션 데이터와 실제 효모 데이터 모두에서 기준 방법 대비 유의미하게 낮은 예측 오차를 기록했다.
• 특히 출력 간 계층적 관계를 잘 포착함으로써 진짜 희박성 패턴을 뛰어나게 회복하는 것으로 나타났다.
• 체계적인 가중치 부여 방식이 중첩된 그룹 간의 페널티 균형을 효과적으로 유도하여 트리의 특정 노드에 대한 페널티 편향을 방지했다.
• 최적화 알고리즘이 대규모 문제를 효율적으로 처리하여 수천 개의 출력을 가진 고차원 데이터셋에 적용 가능하게 했다.
• 효모 데이터에 대한 실증 결과는 이 방법이 생물학적으로 의미 있는 출력 클러스터 간 공유되는 관련 입력 특징을 정확히 식별함을 확인했다.
• 예측 성능과 희박성 패턴 정확도 모두에서 표준 그룹 라소 및 기타 다중 작업 학습 기준 방법보다 뛰어난 성능을 보였다.