[논문 리뷰] Boosted Sparse and Low-Rank Tensor Regression

Lifang He, Kun Chen외 3명|arXiv (Cornell University)|2018. 11. 03.

Tensor decomposition and applications인용 수 20

한 줄 요약

이 논문은 분할 정복 전략을 통해 계수 텐서를 희박한 단위 랭크 성분으로 분해하는 부스팅된 희박하고 낮은 랭크의 텐서 회귀 모델을 제안한다. 단계적 추정 절차를 사용하여 전체 정규화 경로를 효율적으로 추적한다. 이 방법은 실제 및 합성 텐서 데이터에서 뛰어난 예측 정확도, 높은 희박성, 그리고 계산 효율성을 달성한다.

ABSTRACT

We propose a sparse and low-rank tensor regression model to relate a univariate outcome to a feature tensor, in which each unit-rank tensor from the CP decomposition of the coefficient tensor is assumed to be sparse. This structure is both parsimonious and highly interpretable, as it implies that the outcome is related to the features through a few distinct pathways, each of which may only involve subsets of feature dimensions. We take a divide-and-conquer strategy to simplify the task into a set of sparse unit-rank tensor regression problems. To make the computation efficient and scalable, for the unit-rank tensor regression, we propose a stagewise estimation procedure to efficiently trace out its entire solution path. We show that as the step size goes to zero, the stagewise solution paths converge exactly to those of the corresponding regularized regression. The superior performance of our approach is demonstrated on various real-world and synthetic examples.

연구 동기 및 목표

• 고차원 데이터에서 복잡한 다중 방향 특징 종속성을 포괄하는 해석 가능하고 단순한 텐서 회귀 모델의 필요성을 해결한다.
• 기존의 희박하고 낮은 랭크의 텐서 모델이 전체 계수 텐서에 희박성을 강제하는 데서 비롯되는 한계를 극복한다.
• 문제를 순차적인 희박한 단위 랭크 회귀 하위문제로 분해하여 텐서 회귀의 계산 효율성을 향상시킨다.
• 각 낮은 랭크 성분이 특징과 결과 사이의 별개의 희박한 경로에 대응하도록 보장함으로써 모델의 해석 가능성을 향상시킨다.

제안 방법

• 계수 텐서의 각 단위 랭크 성분이 희박하도록 제약하는 CANDECOMP/PARAFAC (CP) 분해를 사용하여 텐서 회귀를 수립한다.
• 전체 텐서 회귀 문제를 다수의 희박한 단위 랭크 텐서 회귀 (SURF) 하위문제로 줄이는 데 분할 정복 전략을 적용한다.
• 각 SURF 문제의 전체 해 경로를 효율적으로 추적하기 위해 단계적 추정 절차를 개발한다. 이는 각 단계에서 전체 최적화를 수행하지 않도록 한다.
• 단계 크기가 0에 가까워질수록 단계적 해 경로가 해당 정규화 회귀의 해 경로에 정확히 수렴함을 증명한다.
• 각 단위 랭크 성분에 ℓ₁-노름 정규화를 적용하여 성분 수준에서의 희박성을 강제함으로써 해석 가능성을 향상시킨다.
• 모든 성분의 해 경로를 부스팅 유사 반복 보정 과정을 통해 통합하여 전체 낮은 랭크이자 희박한 계수 텐서를 재구성한다.

실험 결과

연구 질문

• RQ1 전체 계수 텐서에 정규화를 적용하는 대신 개별 단위 랭크 성분 수준에서 희박성을 강제하는 텐서 회귀 모델이 전체 계수 텐서에 정규화를 적용하는 모델보다 더 높은 해석 가능성과 예측 정확도를 달성할 수 있는가?
• RQ2 고차원 텐서 회귀 문제의 계산 비용을 해의 품질과 희박성 유지 조건에서 줄일 수 있는가?
• RQ3 희박한 단위 랭크 텐서 회귀에 대한 단계적 추정 절차가 단계 크기가 감소함에 따라 정규화 문제의 최적 해에 수렴하는가?
• RQ4 실제 및 합성 데이터 세트에서 제안된 방법은 기존의 희박하고 낮은 랭크의 텐서 회귀 모델보다 성능과 효율성 면에서 뛰어나게 나타나는가?

주요 결과

• DTI 및 PPMI 데이터셋에서 제안된 SURF 방법은 모든 테스트된 방법 중에서 가장 낮은 평균 제곱근 오차 (RMSE)를 기록했으며, 병합된 데이터셋에서의 RMSE는 2.78 ± 0.29로, LASSO, ENet, Remurs, GLTRM를 뚜렷이 앞서갔다.
• SURF는 계수 추정치에서 가장 높은 희박성을 달성했으며, 병합된 데이터셋에서 평균 희박성은 0.99로, 거의 모든 계수 항목이 0임을 나타내어 해석 가능성을 향상시켰다.
• 실행 시간 측면에서 가장 빠른 성능을 보였으며, 병합된 데이터셋 평균 실행 시간은 단 6.2분이었고, GLTRM의 800분 이상, ACS의 463분보다 훨씬 빠르게 기록되었다.
• 대응 t-검정 결과, SURF의 RMSE는 Remurs 및 GLTRM보다 유의미하게 낮고, 희박성은 뚜렷이 높게 나타나 통계적으로 유의미한 우월성을 입증했다.
• 단계적 절차는 전체 정규화 경로를 효과적으로 근사했으며, 단계 크기가 0에 가까워질수록 진짜 해 경로에 수렴함을 확인하여 이론적 기반을 검증했다.
• 240×175×176 크기의 뇌 MRI 영상에서 SURF의 실행 시간은 다른 방법들보다 극적으로 낮아, 대규모 뇌 영상 데이터에서의 확장성과 효율성을 확인했다.