[논문 리뷰] Learning from many trajectories

Stephen Tu, Roy Frostig외 1명|arXiv (Cornell University)|2022. 03. 31.

Machine Learning and Algorithms인용 수 9

한 줄 요약

이 논문은 상관된 공변량의 다수의 독립적 시퀀스(궤적)로부터의 지도학습을 연구하며, 궤적 수 $ m $가 입력 차원 $ n $을 초과할 경우 선형 최소제곱 회귀의 최악의 경우 오차율이 $ \Theta(n/mT) $로 스케일링됨을 보여주며, 이는 $ mT $개의 독립적 예시로부터 학습하는 것과 동일한 비율을 가짐을 시사한다. 이는 $ m \gtrsim n $에서 통계적 효율성의 뚜렷한 전이가 발생함을 드러내며, 순차적 의존성이 더 이상 성능을 떨어뜨리지 않음이 확인된다.

ABSTRACT

We initiate a study of supervised learning from many independent sequences ("trajectories") of non-independent covariates, reflecting tasks in sequence modeling, control, and reinforcement learning. Conceptually, our multi-trajectory setup sits between two traditional settings in statistical learning theory: learning from independent examples and learning from a single auto-correlated sequence. Our conditions for efficient learning generalize the former setting--trajectories must be non-degenerate in ways that extend standard requirements for independent examples. Notably, we do not require that trajectories be ergodic, long, nor strictly stable. For linear least-squares regression, given $n$-dimensional examples produced by $m$ trajectories, each of length $T$, we observe a notable change in statistical efficiency as the number of trajectories increases from a few (namely $m \lesssim n$) to many (namely $m \gtrsim n$). Specifically, we establish that the worst-case error rate of this problem is $Θ(n / m T)$ whenever $m \gtrsim n$. Meanwhile, when $m \lesssim n$, we establish a (sharp) lower bound of $Ω(n^2 / m^2 T)$ on the worst-case error rate, realized by a simple, marginally unstable linear dynamical system. A key upshot is that, in domains where trajectories regularly reset, the error rate eventually behaves as if all of the examples were independent, drawn from their marginals. As a corollary of our analysis, we also improve guarantees for the linear system identification problem.

연구 동기 및 목표

• i.i.d. 학습과 단일 시퀀스 학습 사이의 중간 설정인 상관된 공변량의 다수의 독립적 시퀀스(궤적)로부터의 학습의 통계적 효율성을 이해하기 위해.
• 공변량이 $ n $차원이며 각각 길이 $ T $인 $ m $개의 궤적에서 생성된 데이터에서 일반 최소제곱 회귀의 최악의 경우 오차율을 특성화하기 위해.
• 궤적 수 $ m $가 입력 차원 $ n $에 비해 충분히 크기 시작하는 임계 영역을 규명하여, 독립적 예측의 통계적 효율성과 동일한 성능을 달성할 수 있음을 밝히기 위해.
• 위험에 대한 날카운 상한 및 하한 경계를 수립하여, 에르고딕성 또는 장기 수평 가정 없이도 $ m \gtrsim n $에서 학습 효율성의 단계 전이가 발생함을 드러내기 위해.
• 다중 궤적 구조를 활용하여 선형 시스템 식별의 일반화 보장을 향상시키기 위해.

제안 방법

• 독립적 시퀀스(궤적) $ m $개를 각각 길이 $ T $로 생성하는 다중 궤적 학습 프레임워크를 제안하며, 각 공변량은 노이즈가 있는 선형 레이블과 쌍을 이룸.
• 통계적 식별성과 궤적의 비퇴화성을 보장하기 위해 핵심 가정으로 '궤적 소형공(condition)'을 도입하며, 이는 i.i.d. 조건을 일반화함.
• 공변량 과정에 대해 선형 동적 시스템(LDS) 모델을 적용하여 선형 최소제곱 회귀를 분석하며, 상태 진동은 $ x_t = A x_{t-1} + B w_t $이고 레이블은 $ y_t = W_* x_t + \xi_t $로 정의됨.
• 특히 궤적 공분산인 $ \Theta_{1,T,T} $의 구조를 중심으로, 농도 불등식과 그램 행렬의 고유값 분석을 통해 예측 위험에 대한 고확률 상한 경계를 유도함.
• 소수의 궤적 영역에서 하한 경계를 확립하기 위해 불안정한 LDS 예시를 활용하며, $ m \lesssim n $일 경우 오차율이 $ \Omega(n^2 / m^2 T) $로 악화됨을 입증함으로써 단계 전이를 강조함.
• 소수의 궤적 영역에서 블록 분리와 삼중대각 행렬의 고유값 분석을 통해 하한 경계를 도출하며, $ m \gtrsim n $가 되기 전까지는 의존성이 완전히 제거될 수 없음을 보임.

실험 결과

연구 질문

• RQ1 길이 $ T $, $ n $차원 공변량을 가진 $ m $개의 궤적에서 학습할 경우 일반 최소제곱 회귀의 최악의 경우 오차율은 무엇인가?
• RQ2 궤적 수 $ m $가 입력 차원 $ n $에 비해 증가함에 따라 오차율은 어떻게 변화하는가? 특히 $ m \lesssim n $와 $ m \gtrsim n $의 영역에서의 변화를 고려하여.
• RQ3 짧고 의존적인 다수의 궤적에서 학습하는 통계적 효율성이, 마진 분포에서 추출한 $ mT $개의 독립적 예측과 동일한가?
• RQ4 어떤 조건(예: 선형 동적 시스템 등)이 궤적 생성 과정에 대해 오차율이 $ \Theta(n/mT) $로 스케일링되도록 보장하며, 이 비율이 더 이상 향상될 수 없는 경우는 언제인가?
• RQ5 소수의 궤적 영역($ m \lesssim n $)에서 위험은 어떻게 행동하며, 이러한 설정에서 성능의 본질적 한계는 무엇인가?

주요 결과

• 일 때, 길이 $ T $인 $ m $개의 궤적에서 선형 최소제곱 회귀의 최악의 경우 위험은 $ \Theta(n/mT) $이며, 이는 $ mT $개의 i.i.d. 예측에서 학습하는 것과 동일한 비율을 가짐.
• 소수의 궤적 영역($ m \lesssim n $)에서는 최악의 경우 위험이 $ \Omega(n^2 / m^2 T) $로 악화되며, 이는 경계가 약간 불안정한 선형 동적 시스템에 의해 달성됨으로써 의존성으로 인한 본질적 열화를 시사함.
• $ m \gtrsim n $에서의 전이점은 통계적 효율성의 뚜렷한 변화를 나타내며, 이 시점 이후에는 모든 예측이 독립적임 것처럼 오차율이 행동함을 보여주며, 각 궤적은 높은 의존성을 지님에도 불구하고.
• 위험 상한 경계는 궤적 소형공 조건과 경험적 그램 행렬의 농도를 활용하여 유도되며, 공분산 행렬의 역행렬에 대한 고확률 제어를 가능하게 함.
• 하한 경계는 날카롭고, 거의 불안정한 고유값을 가진 특정 선형 동적 시스템을 활용하여 구성되며, 이는 소수의 궤적 영역에서 $ \Omega(n^2 / m^2 T) $ 비율이 피할 수 없음을 보여줌.
• 결론적으로, 본 논문은 선형 시스템 식별의 일반화 보장을 향상시키며, 궤적 수 $ m $가 추정 정확도에 결정적인 역할을 함을 보여주며, 최적 스케일링을 위해 $ m \gtrsim n $가 필수적임을 밝힘.