[논문 리뷰] Towards a theory of out-of-distribution learning

Ali Geisa, Ronak Mehta외 5명|arXiv (Cornell University)|2021. 09. 29.

Machine Learning and Algorithms참고 문헌 60인용 수 4

한 줄 요약

이 논문은 학습 이론에서 전통적인 내분포 가정을 완화함으로써 외분포(OOD) 학습의 일반화된 이론을 제안한다. 데이터 활용도를 측정하기 위한 학습 효율성(LE)을 도입하여 내분포 및 외분포 설정 모두에서 데이터 활용도를 정량화하고, 전이, 다중작업, 메타, 계속적, 종신적 학습을 하나의 공통 프레임워크로 통합함으로써 실세계의 OOD 도전 과제에 대한 이론적 기반을 제공한다.

ABSTRACT

What is learning? 20 century formalizations of learning theory -- which precipitated revolutions in artificial intelligence -- focus primarily on extit{in-distribution} learning, that is, learning under the assumption that the training data are sampled from the same distribution as the evaluation distribution. This assumption renders these theories inadequate for characterizing 21$^{st}$ century real world data problems, which are typically characterized by evaluation distributions that differ from the training data distributions (referred to as out-of-distribution learning). We therefore make a small change to existing formal definitions of learnability by relaxing that assumption. We then introduce extbf{learning efficiency} (LE) to quantify the amount a learner is able to leverage data for a given problem, regardless of whether it is an in- or out-of-distribution problem. We then define and prove the relationship between generalized notions of learnability, and show how this framework is sufficiently general to characterize transfer, multitask, meta, continual, and lifelong learning. We hope this unification helps bridge the gap between empirical practice and theoretical guidance in real world problems. Finally, because biological learning continues to outperform machine learning algorithms on certain OOD challenges, we discuss the limitations of this framework vis-a-vis its ability to formalize biological learning, suggesting multiple avenues for future research.

연구 동기 및 목표

• 실세계의 데이터 이동을 모델링하는 데 있어 전통적인 내분포 학습 이론의 한계를 해결하기 위해.
• 학습 및 평가 데이터가 동일한 분포를 따른다는 가정을 완화함으로써 외분포 학습을 체계화하기 위해.
• 학습자가 분포 이동과 관계없이 데이터를 얼마나 효과적으로 활용하는지 측정하기 위해 학습 효율성(LE)을 측정 척도로 도입하기 위해.
• 전이, 다중작업, 메타, 계속적, 종신적 학습과 같은 다양한 학습 철학을 일반화된 학습 가능성 프레임워크 아래 통합하기 위해.
• 생물학적 학습을 모델링하는 데 있어 이론적 갭을 식별하고 향후 연구 방향을 제안하기 위해.

제안 방법

• 내분포 가정을 제거함으로써 표준 학습 가능성 정의를 완화하여 분포 이동 분석이 가능하도록 한다.
• 내분포 및 외분포 설정 모두에서 데이터 활용도를 정량화하기 위한 학습 효율성(LE)을 도입한다.
• LE를 사용하여 일반화된 학습 가능성을 정의하고, 다양한 학습 제도 간의 수학적 관계를 수립한다.
• 일반화된 이론의 특수한 경우로 전이, 다중작업, 메타, 계속적, 종신적 학습을 분석하기 위해 프레임워크를 적용한다.
• 형식적 정의와 증명을 사용하여 다양한 학습 철학 간의 일관성과 일반성을 입증한다.
• 생물학적 학습을 모델링하는 데 있어 프레임워크의 한계를 비교하고 열린 과제를 부각시킨다.

실험 결과

연구 질문

• RQ1 기존 학습 이론은 어떻게 외분포 일반화를 다룰 수 있도록 확장될 수 있는가?
• RQ2 외분포 학습 상황에서 데이터 활용도를 효과적으로 측정할 수 있는 척도는 무엇인가?
• RQ3 전이, 다중작업, 메타, 계속적, 종신적 학습은 어떻게 하나의 이론적 프레임워크 아래 통합될 수 있는가?
• RQ4 학습 효율성(LE)은 다양한 학습 제도에서 일반화된 학습 가능성과 어떻게 관련이 있는가?
• RQ5 이 프레임워크는 생물학적 학습 과정을 모델링하는 데 있어 이론적 한계는 무엇인가?

주요 결과

• 제안된 프레임워크는 내분포 가정을 제거함으로써 기존의 학습 가능성 이론을 일반화하여 실세계의 분포 이동 분석이 가능하게 한다.
• 학습 효율성(LE)은 분포 이동과 관계없이 학습자가 데이터를 얼마나 효과적으로 활용하는지 측정하기 위한 강력한 척도로 도입된다.
• 프레임워크는 전이, 다중작업, 메타, 계속적, 종신적 학습을 하나의 이론적 우산 아래 성공적으로 통합한다.
• 형식적 증명을 통해 일반화된 학습 가능성과 학습 효율성 간의 관계를 입증함으로써 프레임워크의 일관성을 검증한다.
• 이론은 생물학적 학습을 모델링하는 데 있어 핵심적인 한계를 식별하여 현재의 형식화가 생물학적 인덕티브 바이어스의 전체 범위를 포괄하지 못하고 있음을 시사한다.
• 이 작업은 분포 이동을 포함하는 실세계 AI 응용에서 이론적 지침과 실증적 실천을 통합하는 기초를 제공한다.