[논문 리뷰] Optimal Algorithms for Ridge and Lasso Regression with Partially Observed Attributes

Elad Hazan, Tomer Koren|arXiv (Cornell University)|2011. 08. 23.

Advanced Bandit Algorithms Research참고 문헌 12인용 수 10

한 줄 요약

이 논문은 예제당 관찰 가능한 특성 수가 제한된 부분적 특성 관찰 환경에서 릿지 및 라소 회귀에 대한 효율적인 온라인 알고리즘을 제안한다. 제안된 알고리즘은 전체 정보 기반의 기준에 비해 샘플 복잡도가 동일한 수준(상수 인자까지)에 도달하며, Cesa-Bianchi 등(2010)이 제기한 열린 문제를 해결하고, 기존의 서포트 벡터 회귀 기반 연구 대비 특성 의존도를 지수적으로 감소시켜 뚜렷한 성능 향상을 이룬다.

ABSTRACT

We consider the most common variants of linear regression, including Ridge, Lasso and Support-vector regression, in a setting where the learner is allowed to observe only a fixed number of attributes of each example at training time. We present simple and efficient algorithms for these problems: for Lasso and Ridge regression they need the same total number of attributes (up to constants) as do full-information algorithms, for reaching a certain accuracy. For Support-vector regression, we require exponentially less attributes compared to the state of the art. By that, we resolve an open problem recently posed by Cesa-Bianchi et al. (2010). Experiments show the theoretical bounds to be justified by superior performance compared to the state of the art.

연구 동기 및 목표

• 의료 진단과 같은 실제 응용에서 흔히 발생하는, 예제당 관찰 가능한 특성 수가 제한된 조건에서 최적의 회귀자 학습 문제를 해결하기 위해.
• Cesa-Bianchi 등(2010)이 제기한, 특성 효율적 학습이 전체 정보 기반 회귀의 샘플 복잡도를 따라잡을 수 있는지 여부에 대한 열린 질문을 해결하기 위해.
• 부분 관찰 조건 하에서도 낮은 샘플 복잡도를 유지하면서 릿지, 라소, 서포트 벡터 회귀에 대한 단순하고 효율적인 온라인 알고리즘을 개발하기 위해.
• 특성 효율성이 학습 성능을 저하시키지 않음을 입증하기 위해, 예제당 소수의 특성만 관찰되는 조건에서도 성능이 유지됨을 보여주기 위해.

제안 방법

• 각 예제당 특성 예산을 고려하여 예측 오차를 최소화하면서 관찰할 특성을 적응적으로 선택하는 새로운 온라인 학습 프레임워크를 제안한다.
• 희소 특성 접근을 위해 특화된 온라인 하향기울기 방법의 변형을 설계하였으며, 수렴 보장을 유지하기 위해 랜덤 선택 전략을 사용한다.
• 부분 관찰 조건 하에서 흩어진 특성과 일반화 간의 균형을 맞추기 위해 라소 회귀에 적합한 이중 평균 접근법을 도입한다.
• 서포트 벡터 회귀의 경우, 이전 연구에서 관찰된 차원에 대한 지수적 의존도를 줄이기 위해 새로운 샘플링 전략을 적용한다.
• 손실 함수의 강凸성 및 미분 가능성 성질을 활용하여 관찰한 특성 수에 따라 엄밀한 일반화 한계를 유도한다.
• 전체 정보 기반 알고리즘을 특성 효율적 형태로 변환하기 위해 랜덤화 라운딩 기법을 활용하며, 이에 대한 성능 보장을 수립한다.

실험 결과

연구 질문

• RQ1 전체 정보 기반 방법의 샘플 복잡도를 따라잡는 특성 효율적 알고리즘을 릿지 및 라소 회귀에 대해 설계할 수 있는가?
• RQ2 차원에 대한 지수적 의존도 없이 부분 관찰 조건 하에서 서포트 벡터 회귀의 샘플 복잡도를 줄일 수 있는가?
• RQ3 각 예제당 관찰하는 특성 수와 수렴을 위해 필요한 전체 예제 수 사이의 기본적 상호 간의 상충 관계는 무엇인가?
• RQ4 엄격한 특성 관찰 제약 조건 하에서도 온라인 알고리즘이 오프라인 전체 정보 기반 기준에 비해 유사한 성능을 달성할 수 있는가?

주요 결과

• 라소 회귀에 대한 제안된 AELR 알고리즘은 $ O\left(\frac{d\log d}{k\varepsilon^{2}}\right) $의 샘플 복잡도를 달성하며, 전체 정보 기반 라소의 이론적 한계에 로그 인자까지 동일한 수준이다.
• 릿지 회귀의 경우, 알고리즘이 $ O\left(\frac{d}{k\varepsilon^{2}}\right) $의 샘플 복잡도를 확보하며, $ k = \Omega(d) $ 조건에서는 전체 정보 기반 환경과 동일한 성능을 달성한다.
• 서포트 벡터 회귀의 경우, 샘플 복잡도를 $ O\left(e^{\frac{d^{2}}{k\varepsilon^{2}}}\right) $에서 $ O\left(\frac{d}{k}\right) \cdot e^{O\left(\log^{2}{\frac{1}{\varepsilon}}\right)} $로 감소시켜 지수적 향상을 이룬다.
• MNIST “3 vs. 5” 숫자 인식 작업에서 AELR 알고리즘은 예제당 4개의 특성만 관찰하는 조건에서도 기존 최고 성능 알고리즘인 AER보다 테스트 오차가 약 10배 이상 낮게 나타났다.
• 증가하는 학습 데이터 프리픽스에 걸쳐도 저수준의 테스트 오차를 유지함으로써, 부분 관찰 조건 하에서도 알고리즘이 강건하고 확장 가능함을 입증하였다.
• 이론적 하한선 분석을 통해 $ \varepsilon $-정확도를 확보하기 위해 $ \Omega\left(\frac{d}{\varepsilon^{2}}\right) $개의 특성이 필요하다고 확인하였으며, 이는 제안된 복잡도 한계의 최적성에 대한 검증을 제공한다.