[논문 리뷰] TherML: Thermodynamics of Machine Learning

Alexander A. Alemi, Ian S. Fischer|arXiv (Cornell University)|2018. 07. 11.

Advanced Thermodynamics and Statistical Mechanics참고 문헌 25인용 수 20

한 줄 요약

이 논문은 실제 데이터 세계(World P)와 이상화된 모델링 세계(Word Q) 사이의 열역학적 자유 에너지에 가까운 상호정보량 이론적 프레임워크인 TherML을 소개한다. 학습 동역학을 마르코프 과정으로 간주하고 상호정보량의 변분 경계를 활용함으로써, 지도학습, 비지도학습, 자기지도학습 등 다양한 학습 목표를 하나의 기하학적 경계 아래 통합한다. 이 경계는 네 가지 함수형으로 정의되며, 열역학 제2법칙과 유사한 평형 상태로의 단조 감소 수렴을 보인다.

ABSTRACT

In this work we offer a framework for reasoning about a wide class of existing objectives in machine learning. We develop a formal correspondence between this work and thermodynamics and discuss its implications.

연구 동기 및 목표

• 실제 데이터 세계(Word P)와 이상화된 모델링 세계(Word Q) 사이의 상대 엔트로피(KL 발산)를 최소화하는 방식으로 표현 학습을 수학적으로 정의하는 것.
• 학습 데이터에 포함된 예측 정보를 정량화하여 학습의 내재적 한계를 규명하는 것. 이는 데이터셋 크기가 증가함에 따라 비선형적으로 증가한다.
• 지도학습, 비지도학습, 자기지도학습 등 다양한 기계학습 목표를 네 가지 함수형으로 정의된 하나의 기하학적 경계 아래 통합하는 것.
• 최적화 과정이 평형 상태로 수렴하는 데 유사한 열역학적 유사성을 학습 동역학에 적용하여, 자유 에너지가 단조 감소하는 방식으로 설명하는 것.
• 최적 경계의 기하학적 성질과 그 편미분을 통해 모델 행동에 대한 새로운 이론적 통찰을 도출하는 것.

제안 방법

• 실제 세계(Word P)를 잠재 변수 Φ(데이터 생성 과정), θ(모델 파라미터), Z(국소 표현)를 포함하는 그래픽 모델로 수식화하고, 조건부 독립성 가정을 적용한다.
• 이상 세계(Word Q)를 Z가 X와 Y의 잠재 요인으로 작용하여 이 둘을 조건부 독립으로 만드는 인라인 모델로 정의하며, P와 Q 사이의 최소 KL 발산을 왜곡 측도로 계산한다.
• 네 가지 핵심 함수형 R(정규화), D(왜곡), C(용량), S(엔트로피)를 도입하여 실제 세계의 상호정보량 항목을 변분 경계로 제약한다.
• 자유 에너지 목적함수 J(γ,δ,σ) = R + δD + γC + σS를 유도하며, 이 최소값은 로그 분할 함수 −σ log Z에 해당하며 평형 상태를 나타낸다.
• 학습 과정을 파라미터 분포 상의 마르코프 체인으로 모델링하여, 평형 분포로의 KL 발산이 단조 감소함을 보이며, 열역학 제2법칙과 유사한 성질을 갖는다.
• 변분 원리를 활용해 비평형 상태와 평형 상태 간의 목적함수 값 차이(ΔJ)가 KL 발산에 비례함을 증명함으로써 최적화 동역학에 열역학적 해석을 가능하게 한다.

실험 결과

연구 질문

• RQ1 표현 학습을 실제 세계와 이상화된 모델링 세계 사이의 상대 엔트로피 최소화 문제로 어떻게 수식화할 수 있는가?
• RQ2 예측 정보는 대규모 데이터셋에서 신호 대 잡음 비율을 어떻게 제한하며, 이를 통해 학습 용량이 어떻게 제약받는가?
• RQ3 네 가지 함수형(R, D, C, S)이 함께 기하학적 경계를 형성하여 다양한 학습 목표를 어떻게 통합하는가?
• RQ4 기계학습의 최적화 동역학은 자유 에너지가 단조 감소하는 방식으로 열역학적 과정과 어떻게 유사하게 간주될 수 있는가?
• RQ5 평형 해가 로그 분할 함수와 관련하여 비평형 상태와 평형 상태의 목적함수 간 관계에서 어떤 함의를 갖는가?

주요 결과

• 예측 정보 I_pred(𝒯_N)는 데이터셋 크기 N에 대해 비선형적으로 증가하며, 이는 일반화에 유용한 학습 데이터 정보의 비율이 점점 감소함을 의미한다.
• World P와 World Q 사이의 최소 상대 엔트로피는 𝒥 = I_P − I_Q로 주어지며, 이는 현실을 이상 모델에 투영함에 따라 유도되는 왜곡을 정량화한다.
• 네 가지 함수형 R, D, C, S는 실제 세계의 상호정보량 항목을 변분 경계로 제약하여, 다양한 학습 목표를 통합하는 사차원 최적 경계를 형성한다.
• 자유 에너지 목적함수 J(γ,δ,σ)는 Z가 분할 함수일 때 −σ log Z에서 최소값을 가지며, 이는 마르코프 과정의 평형 분포에 해당한다.
• 모든 파라미터 분포 p(θ)와 평형 분포 사이의 KL 발산은 ΔJ/σ로 주어지며, 이는 목적함수 J가 최적화 과정에서 단조 감소함을 증명한다.
• 시간에 따라 J가 단조 감소함을 통해 최적화 동역학이 자연스럽게 평형 상태로 수렴하며, 이는 열역학 제2법칙과 유사한 방식으로 시스템의 자유 에너지가 감소함을 의미한다.