[論文レビュー] Prospective Learning: Principled Extrapolation to the Future

De Silva, Ashwin, Ramesh, Rahul+41 more|arXiv (Cornell University)|Jan 19, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本論文は、機械学習を静的または敵対的シフトを仮定するのではなく、将来のデータ分布を予測することを優先する枠組みとしての予測学習（prospective learning）を導入する。動的で部分的に予測可能な時間的パターンをデータ分布にモデル化することで、予測学習は非定常環境における一般化性能を回帰的学習（retrospective learning）よりも向上させ、より強固で適応性のあるAIシステムへの原理的道筋を提供する。

ABSTRACT

Learning is a process which can update decision rules, based on past experience, such that future performance improves. Traditionally, machine learning is often evaluated under the assumption that the future will be identical to the past in distribution or change adversarially. But these assumptions can be either too optimistic or pessimistic for many problems in the real world. Real world scenarios evolve over multiple spatiotemporal scales with partially predictable dynamics. Here we reformulate the learning problem to one that centers around this idea of dynamic futures that are partially learnable. We conjecture that certain sequences of tasks are not retrospectively learnable (in which the data distribution is fixed), but are prospectively learnable (in which distributions may be dynamic), suggesting that prospective learning is more difficult in kind than retrospective learning. We argue that prospective learning more accurately characterizes many real world problems that (1) currently stymie existing artificial intelligence solutions and/or (2) lack adequate explanations for how natural intelligences solve them. Thus, studying prospective learning will lead to deeper insights and solutions to currently vexing challenges in both natural and artificial intelligences.

研究の動機と目的

• 訓練データとテストデータの分布が同一であると仮定する回帰的学習の限界を克服するため、動的で進化する将来の分布を考慮する新しいパラダイムを提案すること。
• 予測学習を、データ分布の時間的ダイナミクスを明示的にモデル化することで、将来のタスク分布を予測可能な枠組みとして形式化すること。
• 非定常環境において分布シフトが予測可能なパターンに従う場合に、回帰的学習の根本的な失敗モードを克服できることを示すこと。
• 予測学習を、現実世界の学習のより正確で包括的なモデルとして位置づけ、人工知能と自然知能の両者の課題にうまく対応すること。
• 予測学習を生物学的認知と生態的適応性と結びつけることで、AIおよび認知科学分野における今後の研究の理論的基盤を築くこと。

提案手法

• 学習問題を過去のデータ最適化ではなく、将来のデータ分布の予測に焦点を当てるように再定式化すること。
• 学習者がデータ分布の時間的変化（例えば、P_AとP_Bの間で交互に変化するようなシフト）をモデル化する枠組みを導入すること。
• 二重仮説戦略を採用：再発生する異なる分布（例：P_AとP_B）に対して別々のモデルを維持し、予測された時間的パターンに従って切り替えること。
• 継続的学習およびメタラーニングからのインダクティブバイアスを活用して、新しい分布への迅速な適応を図るが、それらを拡張して分布シーケンスの予測モデリングを組み込むこと。
• 予測学習を、未確認のデータへの一般化ではなく、未確認の「将来の分布」への一般化を目的とする回帰的学習の一般化として形式化すること。
• 予測学習は基盤に依存しない（substrate-agnostic）ものであり、ソフトウェア、ニューロモルフィックハードウェア、さらには生物的システムにも適用可能であり、多様な分野間の研究を促進できること。

実験結果

リサーチクエスチョン

• RQ1 データ分布が時間経過とともに予測可能な非敵対的パターンで変化する環境において、機械学習システムが効果的に一般化できるか。
• RQ2 大規模な訓練データを有しても、周期的または構造的な分布シフトが生じる状況で、標準的な回帰的学習手法がなぜ失敗するのか。
• RQ3 学習システムがデータ分布の時間的ダイナミクスをモデル化し、静的または敵対的仮定を超えて将来のパフォーマンスを向上させることは可能か。
• RQ4 現実世界の非定常環境において、予測学習が回帰的学習に比べて理論的・実用的な利点をどのように提供するか。
• RQ5 生物的システムが変化する環境に予測と適応を図らなければならないことを踏まえ、予測学習が自然知能のより正確なモデルを提供できるか。

主な発見

• 回帰的学習は、周期的な分布シフト（例：P_AとP_Bの交互な変化）が生じる状況で失敗する。なぜなら、単一の静的仮説では両方にうまく一般化できないからである。
• 予測学習は、分布シフトの時間的パターンをモデル化することで、この失敗を克服する。これにより、予測されたタイミングに従って切り替えられる、文脈に特化した別々の仮説を用いることができる。
• 分布のシーケンスが予測可能で学習可能なパターンに従う限り、将来の分布に対して任意に低い誤差を達成できる。
• 予測学習は、未確認の分布の一般化を、ランダムまたは敵対的とみなすのではなく、将来的なシフトのダイナミクスを明示的にモデル化することで、原理的かつより優れた代替手段を提供する。
• この枠組みは、予測学習が単により強固であるだけでなく、将来のパフォーマンス向上という学習の本質的目標に、予測を通じてより適切に一致していることを示唆する。
• 本論文は、予測学習を自然知能と結びつけることで、今後の研究の基盤を確立し、生物的システムが同様の予測メカニズムを内蔵している可能性を示唆している。