[논문 리뷰] Multi-task Regression using Minimal Penalties

Matthieu Solnon, Sylvain Arlot외 1명|arXiv (Cornell University)|2011. 07. 22.

Sparse and Compressive Sensing Techniques참고 문헌 15인용 수 49

한 줄 요약

이 논문은 소수의 표본 크기에서 다중 작업 커널 리지 회귀의 정규화 캘리브레이션 문제를 해결하기 위해 소음 공분산 행렬을 추정함으로써 교차검증 없이 최적의 정규화를 가능하게 하는 새로운 최소 페널티 기반 알고리즘을 제안한다. 이 방법은 추정된 공분산 행렬이 진짜 값으로 수렴함을 증명함으로써 약한 가정 하에 near-optimal 예측 성능을 보장하는 오라클 부등식을 확립한다.

ABSTRACT

In this paper we study the kernel multiple ridge regression framework, which we refer to as multi-task regression, using penalization techniques. The theoretical analysis of this problem shows that the key element appearing for an optimal calibration is the covariance matrix of the noise between the different tasks. We present a new algorithm to estimate this covariance matrix, based on the concept of minimal penalty, which was previously used in the single-task regression framework to estimate the variance of the noise. We show, in a non-asymptotic setting and under mild assumptions on the target function, that this estimator converges towards the covariance matrix. Then plugging this estimator into the corresponding ideal penalty leads to an oracle inequality. We illustrate the behavior of our algorithm on synthetic examples.

연구 동기 및 목표

• 표본 크기가 작을 때 다중 작업 커널 리지 회귀에서 정규화를 校정하는 데 도전하는 문제를 해결한다.
• 고차원 다중 작업 설정에서 교차검증의 한계를 극복하기 위해 데이터에서 직접 소음 공분산 행렬을 추정함으로써 다중 작업 회귀에서의 정규화를 개선한다.
• 소음 공분산을 통한 작업 유사도 추정을 이론적으로 기반한 방법을 개발하여 예측 정확도를 향상시킨다.
• 진짜 공분산 행렬로의 추정된 공분산 행렬의 비점근적 수렴성을 약한 가정 하에 확립한다.
• 추정된 페널티를 사용한 다중 작업 회귀 추정기의 오라클 부등식을 유도하여 near-optimal 성능을 보장한다.

제안 방법

• 이전에 단일 작업 회귀에서 사용된 최소 페널티 개념을 다중 작업 회귀로 확장하여 소음 공분산 행렬 Σ를 추정한다.
• 교차검증이나 사전 지식에 의존하지 않는 데이터 기반의 Σ 추정기법을 최소 페널티 원리에 기반해 정의한다.
• 설계 행렬과 추정된 공분산 행렬(Σ̂ ⊗ In)의 곱의 트레이스에 비례하는 페널티 항을 정의한다.
• 추정된 공분산 행렬이 높은 확률로 O(√(ln n)/n)의 속도로 진짜 소음 공분산 행렬로 수렴함을 증명한다.
• 예측 위험의 상한이 최적의 위험에 비례하는 상수 곱에 로그 요소를 더한 형태로 제한됨을 보여 추정된 페널티를 사용한 오라클 부등식을 확립한다.
• 집중 부등식과 행렬 노름 한계를 사용하여 추정된 페널티가 이상적인 페널티로부터 얼마나 벗어나 있는지 제어한다.

실험 결과

연구 질문

• RQ1 최소 페널티 원리가 단일 작업에서 다중 작업 회귀로 확장되어 공분산 행렬 추정에 적용될 수 있는가?
• RQ2 비점근적 설정에서 추정된 소음 공분산 행렬이 진짜 공분산 행렬을 얼마나 잘 근사하는가?
• RQ3 페널티 항에 추정된 공분산 행렬을 사용할 경우 다중 작업 회귀에서 오라클 부등식이 성립하는가?
• RQ4 최소 페널티 기반의 소음 공분산 행렬 추정기의 수렴 속도는 얼마인가?
• RQ5 이 방법은 소수의 표본 크기에서 표준 정규화 기법(예: 교차검증)보다 우수한 성능을 보일 수 있는가?

주요 결과

• 제안된 최소 페널티 추정기의 소음 공분산 행렬은 높은 확률로 O(√(ln n)/n)의 속도로 진짜 공분산 행렬로 수렴한다.
• 추정기법은 오라클 부등식을 달성한다: 다중 작업 회귀 추정기의 예측 위험은 로그 요소를 제외한 최적의 위험에 비례하는 상수 곱으로 제한된다.
• 목표 함수와 설계 행렬에 대한 약한 가정 하에 비점근적 성능 보장을 보장한다.
• 계산 비용이 높은 교차검증을 피하고 소수의 표본 크기 설정에서도 강인한 성능을 보인다.
• 이론적 분석을 통해 최적의 캘리브레이션의 핵심은 작업 간 소음 공분산 행렬을 정확히 추정하는 데 있음을 밝혔다.
• 시뮬레이션 결과는 이 방법이 작업 유사도를 정확히 포착하고 제한된 데이터에서 다중 작업 회귀 성능을 향상시킴을 확인한다.