[논문 리뷰] Dynamics and Reachability of Learning Tasks

Alessandro Achille, Glen Bigan Mbeng외 1명|arXiv (Cornell University)|2018. 10. 04.

Neural Networks and Applications참고 문헌 15인용 수 7

한 줄 요약

이 논문은 전이 학습 성공을 정량화하기 위해 학습 과제 간 전이 확률을 고정 기하 거리(손실 표면의 위상 기반)와 동적 성분(확률적 경사 하강법(SGD) 경로 접근 가능성 기반)으로 분해하는 프레임워크를 제안한다. 주요 기여는 수학적으로 타당하고 경험적으로 검증 가능한 모델을 통해 피니튜닝의 어려움과 수렴 시간을 예측하는 것으로, 과제 간 도달 가능성—과제의 내재적 복잡성과 최적화 역학에 의해 영향을 받는다—이 전이 학습의 가능성을 결정함을 보여준다.

ABSTRACT

We compute the transition probability between two learning tasks, and show that it decomposes into two factors. The first depends on the geometry of the loss landscape of a model trained on each task, independent of any particular model used. This is related to an information theoretic distance function, but is insufficient to predict success in transfer learning, as nearby tasks can be unreachable via fine-tuning. The second factor depends on the ease of traversing the path between two tasks. With this dynamic component, we derive strict lower bounds on the complexity necessary to learn a task starting from the solution to another, which is one of the most common forms of transfer learning.

연구 동기 및 목표

• 전이 학습에서 과제 도달 가능성의 개념을 공식화하여 정적 거리 측정 기준의 한계를 해결한다.
• 라벨 공간에서 가까운데도 불구하고 의미적으로 유사한 과제들이 피니튜닝을 통해 도달되지 않는 이유를 규명한다.
• 확률적 경사 하강법(SGD)의 역학을 랑주뱅-확산 과정으로 모델링하여 과제 간 경로 접근 가능성 이해를 돕는다.
• 과제 간 전이 확률을 내재 기하 거리와 최적화 경로 역학으로 분리하는 인수 분해 전이 확률을 유도한다.
• 제안된 도달 가능성 측정 기준이 다양한 데이터셋과 아키텍처에서 피니튜닝 수렴 시간과 상관이 있음을 경험적으로 검증한다.

제안 방법

• 노이즈가 있는 경사 하강 업데이트 공식을 사용해 SGD를 랑주앙-확산 과정으로 모델링함으로써 통계역학 도구의 적용을 가능하게 한다.
• 크래머의 속도 이론과 경로 적분 방법을 적용해 서로 다른 과제의 해를 연결하는 경로를 횡단할 확률을 계산한다.
• 전이 확률을 두 성분으로 분해한다: 정적 성분(코모고로프 구조 함수를 통한 내재 과제 거리)과 동적 성분(손실 표면 내 경로 접근 가능성).
• 손실 표면의 구조와 정보 이론적 거리와 관련된 손실 표면 기반의 β-복잡도 측정 기준 Cβ(w;𝒟)를 사용해 과제 복잡도를 정량화한다.
• ResNet-18 모델을 사용해 다양한 데이터셋 간 피니튜닝을 수행하고 경험적으로 과제 간 도달 가능성과 예측된 수렴 시간을 비교함으로써 검증한다.
• 정적 거리와 동적 거리의 곱에 기반한 피니튜닝 복잡도에 대한 하한을 도출하여 전이 학습의 어려움에 대한 이론적 기반을 제공한다.

실험 결과

연구 질문

• RQ1 전이 학습의 기하학적 및 동적 측면을 모두 반영하는 의미 있는 비대칭 거리로서의 과제 간 거리를 어떻게 정의할 수 있는가?
• RQ2 왜 라벨 공간에서 가까운 과제들이라도 유사한 복잡도를 지니고도 피니튜닝을 통해 도달되지 않는가?
• RQ3 특히 경로 접근 가능성에 기반한 SGD의 역학이 전이 학습의 성공과 속도에 얼마나 큰 영향을 미치는가?
• RQ4 과제 간 전이 확률을 내재 기하 거리와 최적화 경로 역학으로 분해할 수 있는가?
• RQ5 제안된 도달 가능성 측정 기준이 다양한 데이터셋과 아키텍처에서 실제 피니튜닝 수렴 시간과 상관이 있는가?

주요 결과

• 두 학습 과제 간 전이 확률은 최적화에 독립적인 정적 기하 거리와 SGD 경로 접근 가능성에 의존하는 동적 성분으로 분해된다.
• 정적 성분은 손실 표면의 위상 기반으로, 아키텍처에 영향을 받지 않는 내재적 거리로, 코모고로프 구조 함수를 통해 과제 복잡도를 반영한다.
• 동적 성분은 손실 표면 내 저에너지 경로의 존재 여부에 따라 결정되며, 이로 인해 가까운 과제들이 도달 불가능해질 수 있음을 설명한다.
• 경험적 결과로, 피니튜닝 중 수렴 시간이 제안된 도달 가능성 측정 기준과 강하게 상관됨을 확인했으며, 낮은 도달 가능성은 더 긴 학습 시간을 예측한다.
• 배치 크기를 변경하면 확산 계수 D가 변하며, 예측된 바와 같이 수렴 시간이 D ∝ 1/B의 비율로 변화함을 확인하여 랑주앙-역학 근사가 타당함을 검증한다.
• 임의의 레이블을 사용할 경우, 수렴 시간이 랜덤 레이블 수와 선형적으로 증가함을 확인했으며, 이는 과제 복잡도(Cβ로 측정됨)가 직접적으로 학습 난이도를 결정함을 확인한다.