[논문 리뷰] Patterns, predictions, and actions: A story about machine learning

Moritz Hardt, Benjamin Recht|arXiv (Cornell University)|2021. 02. 10.

Machine Learning and Data Classification참고 문헌 52인용 수 6

한 줄 요약

이 논문은 패턴, 예측, 행동 간의 상호작용을 중심으로 한 기계학습에 대한 종합적인 서사 프레임워크를 제시한다. 통계적 기초, 최적화, 일반화, 인과관계를 통합하며, 위험 최소화, 경험적 위험 최소화, 알고리즘 안정성 등을 核심 원칙으로 강조한다. 또한 추정의 수렴 속도와 데이터 기반 접근의 한계를 다룬다.

ABSTRACT

This graduate textbook on machine learning tells a story of how patterns in data support predictions and consequential actions. Starting with the foundations of decision making, we cover representation, optimization, and generalization as the constituents of supervised learning. A chapter on datasets as benchmarks examines their histories and scientific bases. Self-contained introductions to causality, the practice of causal inference, sequential decision making, and reinforcement learning equip the reader with concepts and tools to reason about actions and their consequences. Throughout, the text discusses historical context and societal impact. We invite readers from all backgrounds; some experience with probability, calculus, and linear algebra suffices.

연구 동기 및 목표

• 패턴 인식, 예측 모델링, 의사결정을 연결하는 통합 개념적 프레임워크를 제공하는 것.
• 경험적 위험 최소화와 최적화가 데이터로부터 학습하는 데서 차지하는 역할을 명확히 하는 것, 특히 지도학습 및 딥러닝 환경에서의 적용을 중심으로 한다.
• 일반화의 이론적 기초, 특히 과매개변수화와 알고리즘 안정성의 역할과 모델 성능에 대한 영향을 분석하는 것.
• 관찰 데이터의 한계와 실제 의사결정에서의 인과 추론의 필요성을 탐색하는 것.
• 강화학습과 동적 프로그래밍에서 학습, 피드백 루프, 순차적 의사결정 간의 상호작용을 조사하는 것.

제안 방법

• 학습을 데이터 분포 위에서 기대 손실을 최소화하는 것으로 간주함으로써 위험 최소화를 통합 원리로 사용한다.
• 유한한 표본을 사용하여 이론적 위험과 실질적 최적화를 연결하기 위해 경험적 위험 최소화(ERM)를 적용한다.
• 표본 모멘트를 바탕으로 한 플러그인 추정기를 사용하여 매개변수를 추정하며, 수렴 속도는 농도 부등식에 의해 유도된다.
• 특히 과매개변수화 모델에서 균일 수렴과 알고리즘 안정성을 통해 일반화를 분석한다.
• 잠재적 결과, 혼동 요인 조정, 구조적 모델을 이용한 간섭 도구를 포함한 인과 추론 도구를 도입한다.
• 탐색-이용 트레이드오프를 고려한 근사 동적 프로그래밍과 함께 손실 최소화 기반의 강화학습 프레임워크를 개발한다.

실험 결과

연구 질문

• RQ1 기계학습을 패턴 인식, 예측, 행동의 체계적인 과정으로 이해할 수 있는 방법은 무엇인가?
• RQ2 과매개변수화 모델에서 일반화에 대한 이론적 보장은 무엇이며, 알고리즘 안정성과의 관계는 어떻게 되는가?
• RQ3 매개변수 추정의 수렴 속도는 표본 크기와 차원 수에 따라 어떻게 변화하는가?
• RQ4 관찰 데이터가 인과 추론에서 가지는 한계는 무엇이며, 무작위 실험 또는 준실험은 이를 어떻게 완화할 수 있는가?
• RQ5 강화학습에서 피드백 루프는 장기적 학습 성능과 정책 안정성에 어떤 영향을 미치는가?

주요 결과

• 최소 제곱 회귀에서의 기대 추정 오차는 d/(nλS) 비례로 스케일링되며, 여기서 d는 매개변수 수, n은 표본 크기, λS는 표본 공분산 행렬의 최소 고유값이다.
• 분류의 일반화 경계는 종종 차원에 영향을 받지 않으며 마진 성질에 의존하는 반면, 회귀의 추정 오차는 매개변수 수와 데이터 포인트 수의 비율에 따라 스케일링된다.
• 표본 모멘트를 기반으로 한 플러그인 추정기는 그들의 모집단 대응치로 수렴하며, 이 수렴 속도는 헤프딩 부등식과 같은 농도 부등식에 의해 결정된다.
• 알고리즘 안정성은 과매개변수화 모델, 특히 딥러닝에서 일반화를 이해하는 데 핵심적인 이론적 도구이다.
• 인과 추론은 혼동 요인과 간섭을 신중히 모델링해야 하며, 잠재적 결과와 반사적 결과를 통해 인과 관계를 공식적으로 다룰 수 있다.
• 탐색과 이용의 균형을 손실 최소화 원리에 기반해 설정한 강화학습 알고리즘은 약한 가정 하에 PAC 학습 보장을 달성할 수 있다.