[논문 리뷰] A note on the group lasso and a sparse group lasso

Jerome H. Friedman, Trevor Hastie외 1명|arXiv (Cornell University)|2010. 01. 05.

Statistical Methods and Inference참고 문헌 5인용 수 656

한 줄 요약

이 논문은 군집 및 개별 특징 수준에서 희박성을 달성하기 위해 L1 및 군집 라소 페널티를 조합한 볼록 최적화 방법인 스퍼스 그룹 라소를 소개한다. 이는 비직교 설계 행렬에서도 작동하는 효율적인 좌표 강하 알고리즘을 제안하여, 군집 예측 변수를 가진 고차원 선형 모델에서 효과적인 변수 선택을 가능하게 한다.

ABSTRACT

We consider the group lasso penalty for the linear model. We note that the standard algorithm for solving the problem assumes that the model matrices in each group are orthonormal. Here we consider a more general penalty that blends the lasso (L1) with the group lasso ("two-norm"). This penalty yields solutions that are sparse at both the group and individual feature levels. We derive an efficient algorithm for the resulting convex problem based on coordinate descent. This algorithm can also be used to solve the general form of the group lasso, with non-orthonormal model matrices.

연구 동기 및 목표

• 표준 군집 라소가 군집 내에서 희박성을 유도하지 못하는 한계를 해결하기 위해, 전체 군집과 개별 예측 변수를 모두 선택하는 페널티를 제안한다.
• 기존 군집 라소 알고리즘에서 예측 변수가 각 군집 내에서 직교여야 한다는 제한적인 가정을 극복한다.
• 비직교 설계 행렬을 가진 표준 군집 라소로도 일반화 가능한 계산적으로 효율적인 알고리즘을 개발한다.
• 고차원 선형 모델에서 군집 수준와 개별 수준 모두에서 희박 선택을 가능하게 하는 통합된 계산 프레임워크를 제공한다.

제안 방법

• 스퍼스 그룹 라소 기준을 제안: 잔차 제곱합에 덧붙여 군집 라소(L2 노름에 의한 군집 기반 페널티)와 라소(L1 노름에 의한 개별 계수 기반 페널티)의 조합을 최소화한다.
• 목적 함수를 최적화하기 위해 블록 좌표 강하를 사용하며, 한 번에 한 군집씩 업데이트하고 나머지는 고정한다.
• 각 군집에 대해, 군집의 부분기울기의 노름을 기반으로 한 조건을 평가하여 전체 군집이 0이 되어야 하는지 확인한다; 만약 그렇지 않다면 개별 계수 업데이트로 진행한다.
• 군집 내 개별 계수에 대해서는 기울기가 라소 페널티 임계값을 초과할 경우, 일변도 최적화를 통해 소프트 스위칭을 적용한다.
• 부분기울기 변수에 대해 이차 함수를 최소화하는 조건을 유도하여 전체 군집이 0으로 설정되어야 하는지 여부를 결정한다.
• 이 알고리즘은 비직교 설계 행렬이 존재하는 경우에도 스퍼스 그룹 라소와 표준 군집 라소 양쪽 모두에 적용 가능하다.

실험 결과

연구 질문

• RQ1 고차원 선형 모델에서 군집 수준와 개별 특징 수준 양쪽에서 희박성을 유도할 수 있는 페널티를 구성할 수 있는가?
• RQ2 군집 내 예측 변수가 직교가 아니어도 솔루션 정확도를 해치지 않으면서 군집 라소를 일반화할 수 있는가?
• RQ3 혼합된 L1 및 군집 L2 페널티를 가진 볼록 문제를 해결하기 위해 효율적인 최적화 알고리즘은 무엇인가?
• RQ4 군집 수준와 개별 수준의 희박성이 모두 필요할 때, 제안된 방법이 표준 라소와 군집 라소보다 변수 선택 정확도에서 뛰어나게 성능을 발휘하는가?
• RQ5 이 알고리즘은 상관관계가 있는 예측 변수를 포함한 임의의 설계 행렬에도 적용 가능하게 수정될 수 있는가?

주요 결과

• 스퍼스 그룹 라소 기준은 군집 및 개별 특징 수준에서 희박성을 성공적으로 유도하여 전체 군집과 군집 내 개별 예측 변수를 선택할 수 있다.
• 제안된 좌표 강하 알고리즘은 스퍼스 그룹 라소 문제를 효율적으로 해결하며, 비직교 설계 행렬이 존재하는 경우에도 표준 군집 라소로 일반화된다.
• 10개의 군집에 각각 10개의 예측 변수가 있는 100개의 예측 변수를 가진 시뮬레이션에서, 스퍼스 그룹 라소는 라소와 군집 라소보다 군집 및 개별 계수에 대해 더 낮은 오분류율을 달성했다.
• 이 방법은 참값의 군집 구조와 비영인 개별 계수를 정확히 식별했으며, 라소나 군집 라소만을 사용한 경우에 비해 잘못 분류된 군집 수와 개별 특징 수가 크게 낮았다.
• 예측 변수 간 상관관계가 존재하는 경우에도 알고리즘이 계산 효율성과 수렴성을 유지한다. 반면 직교화 기반 접근법은 솔루션을 왜곡할 수 있다.
• 이론적 분석을 통해 목적 함수의 볼록성과 개별 계수에 대한 정확한 선형 탐색을 사용한 블록 좌표 강하의 조합으로 인해 알고리즘이 전역 최소값으로 수렴함을 확인했다.