[논문 리뷰] Robust Meta-learning for Mixed Linear Regression with Small Batches

Weihao Kong, Raghav Somani외 2명|arXiv (Cornell University)|2020. 06. 17.

Domain Adaptation and Few-Shot Learning참고 문헌 74인용 수 6

한 줄 요약

이 논문은 소규모 배치를 가진 혼합 선형 회귀에 대해 강건한 메타학습 프레임워크를 제안하며, 이상치에 강건한 주성분 분석과 제곱합 방법을 사용하여 고차원 모멘트를 활용한다. 이는 통계적 트레이드오프를 부드럽게 구현하여, 이전에 요구되던 무거운 작업 크기를 Ω(k^{1/2})에서 O(log k)로 감소시키며, 이상치와 소규모 작업 크기 모두에 대해 강건하다.

ABSTRACT

A common challenge faced in practical supervised learning, such as medical image processing and robotic interactions, is that there are plenty of tasks but each task cannot afford to collect enough labeled examples to be learned in isolation. However, by exploiting the similarities across those tasks, one can hope to overcome such data scarcity. Under a canonical scenario where each task is drawn from a mixture of k linear regressions, we study a fundamental question: can abundant small-data tasks compensate for the lack of big-data tasks? Existing second moment based approaches show that such a trade-off is efficiently achievable, with the help of medium-sized tasks with $Ω(k^{1/2})$ examples each. However, this algorithm is brittle in two important scenarios. The predictions can be arbitrarily bad (i) even with only a few outliers in the dataset; or (ii) even if the medium-sized tasks are slightly smaller with $o(k^{1/2})$ examples each. We introduce a spectral approach that is simultaneously robust under both scenarios. To this end, we first design a novel outlier-robust principal component analysis algorithm that achieves an optimal accuracy. This is followed by a sum-of-squares algorithm to exploit the information from higher order moments. Together, this approach is robust against outliers and achieves a graceful statistical trade-off; the lack of $Ω(k^{1/2})$-size tasks can be compensated for with smaller tasks, which can now be as small as $O(\log k)$.

연구 동기 및 목표

• 기존 방법이 실패하는, 대량의 소규모 데이터 작업이 존재하고 대량의 데이터 작업이 없는 상황에서의 메타학습 과제를 해결한다.
• 이상치나 비최적의 작업 크기에서 붕괴하는, 두 번째 모멘트 기반 접근법의 취약성을 극복한다.
• 각 작업에 O(log k)개의 예시만 존재하는 조건에서도 효과적인 메타학습을 가능하게 한다. 이는 이전 연구 대비 요구되는 배치 크기를 크게 감소시킨다.
• 제곱합 기법을 활용해 고차원 모멘트를 효율적으로 활용하는 계산적으로 타당한 방법을 개발한다. 이는 통계적 효율성과 강건성을 향상시킨다.

제안 방법

• 적대적 손상 하에서 최적의 정확도를 달성하는 새로운 이상치에 강건한 주성분 분석(PCA) 알고리즘을 도입한다.
• 고차원 모멘트 통계량을 활용하기 위해 제곱합(SoS) 방법을 사용하여 더 작은 작업에서의 학습을 가능하게 한다.
• 두 단계 알고리즘을 설계한다: 먼저 가벼운 작업을 사용해 저차원 부분공간을 추정하고, 그 다음에 투영된 공간에서 무거운 작업을 클러스터링한다.
• 정수 m을 사용해 m차 모멘트에 해당하는 파라미터를 설정함으로써, 작업 크기와 작업 수 사이의 트레이드오프를 가능하게 한다.
• 스펙트럼 분해와 강건한 평균 추정을 활용해 메타파rameter의 노이즈와 이상치를 처리한다.
• 집중 불등식과 행렬 편향 경계를 사용하여 추정된 메타파rameter에 대한 고확률 오차 경계를 유도한다.

실험 결과

연구 질문

• RQ1 혼합 선형 회귀의 메타학습에서, 대량의 소규모 데이터 작업이 대량의 데이터 작업이 없는 상황에서 상쇄될 수 있는가?
• RQ2 메타학습 알고리즘이 이상치와 비최적의 작업 크기(o(k^{1/2}) 예시) 모두에 대해 강건하게 유지될 수 있는가?
• RQ3 계산적으로 효율적이고 통계적으로 신뢰할 수 있는 방식으로 고차원 모멘트 통계량을 활용할 수 있는가?
• RQ4 중간 크기의 작업이 존재하지 않을 경우, 성공적인 메타학습을 위해 필요한 최소 작업 크기는 무엇인가?
• RQ5 두 번째 모멘트 통계량 대신 고차원 모멘트를 사용할 경우, 작업 크기와 작업 수 사이의 트레이드오프는 어떻게 변화하는가?

주요 결과

• 제안된 방법은 요구되는 무거운 작업 크기를 Ω(k^{1/2})에서 O(log k)로 감소시켜, 모든 작업이 소규모일 경우에도 메타학습이 가능하게 한다.
• 알고리즘은 부드러운 통계적 트레이드오프를 달성한다: 큰 작업이 부족한 것은 소규모 작업의 수를 늘림으로써 상쇄할 수 있다.
• 각 작업당 t = O(log k)개의 예시와 n = Ω(k^{Θ(log k)})개의 작업이 있을 경우, 고확률로 메타파rameter의 추정 오차가 O(1) 이내가 된다.
• 제곱합 기반 접근법은 고차원 모멘트를 활용해 강건한 추정을 가능하게 하며, 손상 상황에서 두 번째 모멘트 방법보다 뛰어난 성능을 보인다.
• 이 방법은 적대적 손상에 강건하다: 일정 비율의 손상된 작업이 존재하더라도, 오차 경계는 ρ^4 / t 비례로 유지된다.
• 실험 결과, 알고리즘 2는 HRPCA보다 훨씬 더 많은 분산(≈1.0886)을 포착하며, 손상된 점을 더 적게 유지하고 깨끗한 점을 더 적게 제거한다.