[논문 리뷰] Measuring Generalization with Optimal Transport

Ching-Yao Chuang, Youssef Mroueh외 3명|arXiv (Cornell University)|2021. 06. 07.

Domain Adaptation and Few-Shot Learning참고 문헌 57인용 수 5

한 줄 요약

이 논문은 깊이 있는 신경망을 위한 새로운 일반화 경계를 제안하며, 최적 운반 이론을 사용해 특징 분포의 구조를 측정하고, 특히 잠재 공간 내의 군집화와 분리도를 포괄하는 일반화된 분산인 k-분산을 통해 이를 실현한다. 제안된 k-분산 정규화된 마진 경계는 다양한 아키텍처와 데이터셋에서 일반화 오차를 안정적으로 예측하며, 이전 이론적 측정치보다 뛰어나고, 경험적 내구성 및 결정 경계 성질과도 일치한다.

ABSTRACT

Understanding the generalization of deep neural networks is one of the most important tasks in deep learning. Although much progress has been made, theoretical error bounds still often behave disparately from empirical observations. In this work, we develop margin-based generalization bounds, where the margins are normalized with optimal transport costs between independent random subsets sampled from the training distribution. In particular, the optimal transport cost can be interpreted as a generalization of variance which captures the structural properties of the learned feature space. Our bounds robustly predict the generalization error, given training data and network parameters, on large scale datasets. Theoretically, we demonstrate that the concentration and separation of features play crucial roles in generalization, supporting empirical results in the literature. The code is available at \url{https://github.com/chingyaoc/kV-Margin}.

연구 동기 및 목표

• 딥 러닝에서 이론적 일반화 경계와 경험적 관찰 간 격차를 해소하기 위해.
• 다양한 아키텍처와 하이퍼파라미터에 걸쳐 예측 가능한, 데이터 기반의 이론적으로 탄탄한 일반화 경계를 개발하기 위해.
• 최적 운반 이론을 활용해 특징 군집화와 클래스 간 분리도가 일반화에 미치는 역할을 체계화하기 위해.
• k-분산을 통해 마진 기반 경계와 학습된 표현의 구조적 성질을 통합하기 위해.
• 스펙트럼 노름이나 VC 차원과 같은 허무하거나 일관성 없는 경계들에 대한 이론적으로 타당한 대안을 제공하기 위해.

제안 방법

• 기존 분산을 일반화하여 데이터의 구조를 포괄하는 최적 운반 비용을, 독립적인 훈련 분포의 부분집합 간의 비용으로 근사하여 분산의 대체 측정치로 사용한다.
• 최적 운반 기반의 일반화된 분산인 k-분산을 정의하여, 잠재 공간 내 특징의 집중도와 분리도를 측정한다.
• 특징 분포의 k-분산으로 표준 마진을 정규화하여 k-분산 정규화된 마진을 제안한다.
• Wasserstein-1 거리와 강건한 위험 최적화를 사용해 이론적 마진 경계를 유도하며, 결정 경계의 내구성과 연결한다.
• 다중 클래스 분류에 이 프레임워크를 적용하여, 클래스 내 특징이 잘 군집되고 클래스 간에 움베르슈타인 의미에서 분리되어 있을 때 좋은 일반화가 이루어짐을 보여준다.
• 훈련 데이터와 네트워크 파라미터를 사용해 경계를 경험적으로 추정하며, PGDL 챌린지 데이터에서 테스트 오차와 강한 상관관계를 확보한다.

실험 결과

연구 질문

• RQ1 최적 운반 기반의 특징 분포 구조 측정치는 딥 러닝에서 일반화 경계를 향상시킬 수 있는가?
• RQ2 일반화에 영향을 주는 학습된 특징의 구조적 성질을 k-분산이라는 일반화된 분산이 어떻게 포괄하는가?
• RQ3 기존 이론적 경계보다 k-분산 정규화된 마진이 일반화 오차를 더 정확하게 예측할 수 있는가?
• RQ4 딥 네트워크에서 특징 군집화, 분리도와 일반화 사이의 이론적 관계는 무엇인가?
• RQ5 제안된 경계는 기울기 정규화된 마진과 결정 경계의 내구성과 어떻게 관련이 있는가?

주요 결과

• k-분산 정규화된 마진 경계는 PGDL 챌린지 데이터셋에서 일반화 오차와 강하게 상관되며, 아키텍처와 하이퍼파라미터에 걸쳐 안정성을 입증한다.
• 이론적 분석을 통해 효과적인 일반화를 위해서는 각 클래스 내 특징의 날카운 군집화와 클래스 간 움베르슈타인 의미에서의 충분한 분리가 동시에 필요하다는 것을 밝혀냈다.
• 분산의 대체 측정치로 사용된 최적 운반 비용은 기존의 표준 분산이나 노름 기반 측정치보다 특징 분포의 구조적 성질을 더 효과적으로 포착한다.
• 제안된 경계는 Elsayed 등 [16]의 기울기 정규화된 마진을 일반화하며, 이론적 경계와 결정 경계의 내구성 간의 연결 고리를 형성한다.
• 약한 가정 하에 유도된 경계이지만, 훈련 데이터와 모델 파라미터로부터 경험적으로 추정 가능하여 실용적 응용이 가능하다.
• 기존의 복잡도 측정치인 VC 차원과 가중치 노름보다 성능이 뛰어나며, 일반화 갭과 종종 반대 방향으로 상관관계를 보인다.