[논문 리뷰] Prospective Learning: Principled Extrapolation to the Future

De Silva, Ashwin, Ramesh, Rahul외 41명|arXiv (Cornell University)|2022. 01. 19.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 기계 학습을 정적 또는 적대적인 이질성에 기반하는 것이 아니라 미래 데이터 분포를 예측하는 것을 우선시하는 프레임워크인 선제적 학습을 제안한다. 데이터 분포의 동적이고 부분적으로 예측 가능한 시간 패턴을 모델링함으로써 선제적 학습은 정적 학습보다 비정상적인 환경에서 더 나은 일반화를 가능하게 하며, 더 견고하고 적응력 있는 AI 시스템을 위한 원칙적인 길을 제시한다.

ABSTRACT

Learning is a process which can update decision rules, based on past experience, such that future performance improves. Traditionally, machine learning is often evaluated under the assumption that the future will be identical to the past in distribution or change adversarially. But these assumptions can be either too optimistic or pessimistic for many problems in the real world. Real world scenarios evolve over multiple spatiotemporal scales with partially predictable dynamics. Here we reformulate the learning problem to one that centers around this idea of dynamic futures that are partially learnable. We conjecture that certain sequences of tasks are not retrospectively learnable (in which the data distribution is fixed), but are prospectively learnable (in which distributions may be dynamic), suggesting that prospective learning is more difficult in kind than retrospective learning. We argue that prospective learning more accurately characterizes many real world problems that (1) currently stymie existing artificial intelligence solutions and/or (2) lack adequate explanations for how natural intelligences solve them. Thus, studying prospective learning will lead to deeper insights and solutions to currently vexing challenges in both natural and artificial intelligences.

연구 동기 및 목표

• 후행적 학습이 동일한 학습 및 테스트 데이터 분포를 가정하는 데서 비롯하는 한계를 해결하기 위해, 동적으로 변화하는 미래 분포를 고려하는 새로운 범주를 제안하는 것.
• 선제적 학습을 프레임워크로 정식화하여 데이터 분포 이질성의 시간적 동역학을 명시적으로 모델링함으로써 미래 작업 분포를 예측할 수 있도록 하는 것.
• 비정상적인 환경에서 분포 이질성이 예측 가능한 패턴을 따를 경우, 후행적 학습의 근본적인 실패 요인을 극복할 수 있음을 보여주는 것.
• 실제 세계의 학습을 더 정확하고 종합적으로 모델링할 수 있도록 선제적 학습을 자연지능과 인공지능의 과제에 더 잘 부합시키는 모델로 위치시키는 것.
• 선제적 학습을 생물학적 인지와 생태적 적응성과 연결함으로써 향후 인공지능 및 인지과학 분야의 연구에 이론적 기초를 마련하는 것.

제안 방법

• 과거 데이터 최적화가 아니라 미래 데이터 분포 예측을 중심으로 한 학습 문제를 재구성하는 것.
• 학습자가 데이터 분포의 시간적 변화를 모델링할 수 있는 프레임워크를 도입하며, 예를 들어 P_A와 P_B 사이를 번갈아가며 발생하는 분포 이질성과 같은 패턴을 포함한다.
• 이중 가설 전략을 활용: 반복적으로 나타나는 서로 다른 분포(예: P_A와 P_B)에 대해 별도의 모델을 유지하고, 예측된 시간 패턴에 따라 이들 사이를 전환하는 방식이다.
• 지속적 학습과 메타학습의 인덕티브 비아스를 활용해 새로운 분포에 신속히 적응하지만, 이를 분포 시퀀스의 예측 모델링을 통해 확장한다.
• 선제적 학습을 후행적 학습의 일반화로 정의하며, 목표는 단지 알려지지 않은 데이터에 대한 일반화뿐 아니라, 알려지지 않은 '*미래 분포*'에 대한 일반화이기도 하다.
• 선제적 학습은 소프트웨어, 뉴로모르픽 하드웨어, 심지어 생물학적 시스템을 포함한 다양한 기반에 적용 가능하므로, 다학제적 연구에 기여할 수 있다.

실험 결과

연구 질문

• RQ1 데이터 분포가 예측 가능한 비적대적 패턴으로 시간이 지남에 따라 변화하는 환경에서 기계 학습 시스템이 효과적으로 일반화할 수 있는가?
• RQ2 대규모 학습 데이터가 존재함에도 불구하고, 주기적 또는 구조적인 분포 이질성이 발생하는 상황에서 표준 후행적 학습 방법이 실패하는 이유는 무엇인가?
• RQ3 학습 시스템이 데이터 분포의 시간적 동역학을 모델링하고 이를 활용해 정적 또는 적대적 가정을 초월한 미래 성능 향상을 달성할 수 있는 방법은 무엇인가?
• RQ4 실제 비정상적인 환경에서 선제적 학습이 후행적 학습보다 이론적·실천적 우월성을 보이는 이유는 무엇인가?
• RQ5 생물학적 시스템이 변화하는 환경에 예측하고 적응해야 하는 바를 감안할 때, 선제적 학습이 자연지능을 더 정확하게 모델링할 수 있는 이유는 무엇인가?

주요 결과

• 후행적 학습은 주기적인 분포 이질성(예: P_A와 P_B 사이를 번갈아가며)이 존재하는 상황에서 실패한다. 단일한 정적 가설은 둘 다에 대해 잘 일반화되지 않는다.
• 선제적 학습은 분포 이질성의 시간 패턴을 모델링함으로써 이 실패를 극복한다. 이는 예측된 시간에 따라 전환되는 별도의, 맥락 기반 가설을 사용할 수 있도록 한다.
• 분포의 순서가 예측 가능하고 학습 가능한 패턴을 따를 경우, 선제적 학습은 미래 분포에 대해 임의로 낮은 오차를 달성할 수 있다.
• 선제적 학습은 미래 이질성의 동역학을 명시적으로 모델링함으로써, 이를 무작위 또는 적대적 요소로 간주하는 것보다 더 원칙적인 접근법을 제공한다.
• 이 프레임워크는 선제적 학습이 단지 더 견고할 뿐 아니라, 미래 성능 향상을 위한 예측을 통한 학습의 실제 목표와도 더 잘 부합된다는 점을 시사한다.
• 논문은 선제적 학습을 자연지능과 연결함으로써 향후 연구의 기초를 마련하였으며, 생물학적 시스템이 유사한 예측 메커니즘을 본질적으로 사용하고 있을 가능성이 있음을 제안한다.